要解决的问题
比价之前,要先确认抓回来的商品和目标商品是不是同一款:品牌、型号、规格、计量单位、材质,有一样对不上,价格就没法比。以前这一步靠人工标注,我想看看大模型能做到什么程度。
手上有两批数据:一批约 6000 条,有人工标注的「正确 / 错误」;另一批约 12000 条,原表的分页不可靠,不能当答案用。
先把数据洗干净
清洗、跑批这些活交给了 AI 助手,我负责定口径:
- 6000 条那批:去掉空名称和重复的名称对,37 组前后标注互相矛盾的整组隔离出来,等人工确认。剩下的分成两份:4244 条做知识库,1000 条留作验证集。
- 12000 条那批:去重、去掉跟第一批重复的,按品类抽 8000 条做测试集,只出判定,不打分。
每一步的条数都要对得上:从多少条进、剔掉多少、去了哪里,全部记下来。
两版提示词
模型要回四样东西:是不是同款、匹配度、不一致原因(从 9 种里选),再加一句说明。
- 基础版:只给一套判定要点。这套要点是从人工标注里读出来的经验界线,每一条都附了原始例子。
- 知识库版:除了要点,再从 4244 条人工标过的例子里,找出跟这一对商品最像的 5 条,一起给模型参考。
验证集的 1000 条里,我先拿 200 条来调提示词:看哪些判错了、为什么错,改规则之前先去知识库里数一数,人工遇到同样的情况大多是怎么标的。证据不支持的规则不改。剩下 800 条一直不碰,留到最后打分。
800 条的结果
最后用的模型是 MiniMax-M3.1-Flash,第二版提示词:
| 指标 | 基础版 | 知识库版 |
|---|---|---|
| 判对 | 706 / 800(88.3%) | 723 / 800(90.4%) |
| 人工标「错误」的 208 条,查出来 | 161 | 168 |
| 人工标「正确」的 592 条,被误判成不同款 | 47 | 37 |
窄屏下可左右滑动查看完整表格。
知识库版查出的错误更多,误报也更少。两版逐条对比:只有知识库版判对的 34 条,只有基础版判对的 17 条。
判错的分成四类
我更关心的是错在哪。两版合起来判错 111 条,逐条归了类:
- 甲,人工可能标错了(26 条):名称里有明显冲突却标了「正确」。比如同型号的耗材,一边写带芯片、一边写无芯片。
- 乙,AI 太严(35 条):单位叫法不同、信息不全,就判成不同款。
- 丙,AI 太松(18 条):名称里看得出冲突,AI 却判成同款。
- 丁,看不出原因(32 条):人工标了「错误」,但从名称上找不到冲突,可能当时人工看了链接或者价格。
甲类和丁类说明的是同一件事:人工答案本身也有噪声,而且有些判断依据不在文字里。分数到了九成左右,再往上,先要把答案核对干净。所以这一轮最后交出去的,除了分数,还有一张可疑标注表,甲类排在最前面,等人核对。
这次能说明什么,不能说明什么
- 这是一个模型、每条跑一次的结果。换了模型,分数会变。
- 那 200 条用来调过提示词,所以成绩只算另外 800 条。
- 8000 条测试集还没跑,那批没有可靠的答案,只能看判定的分布。
- 90% 是跟人工答案比出来的,而人工答案本身也有噪声,所以它不完全等于模型真实的对错。
这篇整理于 2026 年 10 月 22 日。数字来自这一轮实验的记录;为了保密,文中不写客户、商品数据和具体项目。