札记 / FIELD NOTES

让大模型判断「是不是同一款」:800 条之后我记下的东西

一次比价同款判定的实验:清洗人工标注、两版提示词、在 800 条没碰过的样本上打分,再把判错的分成四类,顺手挑出可能标错的人工答案。

整理于
2026-10-22
阅读
约 3 分钟

要解决的问题

比价之前,要先确认抓回来的商品和目标商品是不是同一款:品牌、型号、规格、计量单位、材质,有一样对不上,价格就没法比。以前这一步靠人工标注,我想看看大模型能做到什么程度。

手上有两批数据:一批约 6000 条,有人工标注的「正确 / 错误」;另一批约 12000 条,原表的分页不可靠,不能当答案用。

先把数据洗干净

清洗、跑批这些活交给了 AI 助手,我负责定口径:

每一步的条数都要对得上:从多少条进、剔掉多少、去了哪里,全部记下来。

两版提示词

模型要回四样东西:是不是同款、匹配度、不一致原因(从 9 种里选),再加一句说明。

验证集的 1000 条里,我先拿 200 条来调提示词:看哪些判错了、为什么错,改规则之前先去知识库里数一数,人工遇到同样的情况大多是怎么标的。证据不支持的规则不改。剩下 800 条一直不碰,留到最后打分。

800 条的结果

最后用的模型是 MiniMax-M3.1-Flash,第二版提示词:

指标基础版知识库版
判对706 / 800(88.3%)723 / 800(90.4%)
人工标「错误」的 208 条,查出来161168
人工标「正确」的 592 条,被误判成不同款4737

窄屏下可左右滑动查看完整表格。

知识库版查出的错误更多,误报也更少。两版逐条对比:只有知识库版判对的 34 条,只有基础版判对的 17 条。

判错的分成四类

我更关心的是错在哪。两版合起来判错 111 条,逐条归了类:

甲类和丁类说明的是同一件事:人工答案本身也有噪声,而且有些判断依据不在文字里。分数到了九成左右,再往上,先要把答案核对干净。所以这一轮最后交出去的,除了分数,还有一张可疑标注表,甲类排在最前面,等人核对。

这次能说明什么,不能说明什么


这篇整理于 2026 年 10 月 22 日。数字来自这一轮实验的记录;为了保密,文中不写客户、商品数据和具体项目。

来信 ↗