札记 / FIELD NOTES

30 道题跑完第一轮,我先记下它能证明什么

一次制度问答练习:30 道题、全文输入、每题一次。首轮结果已经记录,检索版对照还没完成,先把结论的范围写清楚。

日期
2026-10-20
阅读
约 1 分钟

先有题,再看模型怎么答

读智能体评估资料时,我做了一次制度问答练习:从五份公开制度文件出发,整理 30 道题,其中 19 道应该回答,11 道不该回答。

“不该答”的题也放进来,是为了检查文件没有依据时,模型会不会继续给出一个看似完整的答案。

这一轮实际做了什么

10 月 1 日完成题集。10 月 6 日晚上,我在自己的电脑上用 DeepSeek 跑第一版:把整份文件放入提示词,每道题跑一次。10 月 7 日交回的结果记录为 30 题通过,其中该答的 19/19,不该答的 11/11。

这组结果对应的是这批文件、这套题和这一轮运行。它留下了一份初始基线;一次通过,还不能说明同一道题反复运行时是否稳定,也不能推到其他文件和业务场景。

检索对照还没做完

原计划下一步改成先检索相关片段,再用同一套题运行、比较表现。截至最近一次学习进度更新,这一步还没开始。因此,目前没有全文输入与检索版之间的效果、速度或成本对比,也没有证据说明加上 RAG 后会更好。

如果后续出现失败,我准备沿着“库里没有、解析出错、没召回、排序被挤掉、生成出错”去分辨原因。先找错在什么地方,再选择下一步改什么。

把这一轮留下来

这次练习已经留下题集和首轮结果。接下来要补检索版对照,也要检查重复运行的表现。后续改动可以再跑这套题,看看原来通过的地方有没有退步。

这篇整理于 2026 年 10 月 20 日。数字来自个人学习记录,记录的是一次练习结果;检索版对照仍待完成。

来信 ↗