先有题,再看模型怎么答
读智能体评估资料时,我做了一次制度问答练习:从五份公开制度文件出发,整理 30 道题,其中 19 道应该回答,11 道不该回答。
“不该答”的题也放进来,是为了检查文件没有依据时,模型会不会继续给出一个看似完整的答案。
这一轮实际做了什么
10 月 1 日完成题集。10 月 6 日晚上,我在自己的电脑上用 DeepSeek 跑第一版:把整份文件放入提示词,每道题跑一次。10 月 7 日交回的结果记录为 30 题通过,其中该答的 19/19,不该答的 11/11。
这组结果对应的是这批文件、这套题和这一轮运行。它留下了一份初始基线;一次通过,还不能说明同一道题反复运行时是否稳定,也不能推到其他文件和业务场景。
检索对照还没做完
原计划下一步改成先检索相关片段,再用同一套题运行、比较表现。截至最近一次学习进度更新,这一步还没开始。因此,目前没有全文输入与检索版之间的效果、速度或成本对比,也没有证据说明加上 RAG 后会更好。
如果后续出现失败,我准备沿着“库里没有、解析出错、没召回、排序被挤掉、生成出错”去分辨原因。先找错在什么地方,再选择下一步改什么。
把这一轮留下来
这次练习已经留下题集和首轮结果。接下来要补检索版对照,也要检查重复运行的表现。后续改动可以再跑这套题,看看原来通过的地方有没有退步。
这篇整理于 2026 年 10 月 20 日。数字来自个人学习记录,记录的是一次练习结果;检索版对照仍待完成。