FDE 第 4 課:如何用評測集、消融實驗和拒答率驗收 AI 系統
FDE 第 4 课 AI 系统怎么验收:评测集、消融实验、拒答率
Henry Lin分享企業 AI 系統的驗收方法,建議用預先編寫的評測集、逐項消融實驗和拒答準確率衡量系統,而非只看示範表現。其 HR 制度問答測試中,端到端正確率由 v0 的 0.67,經多項調整後升至 0.98;中文分詞 bug 曾令加入關鍵詞/向量融合後的分數由 0.80 降至 0.78。
「demo 效果很好」在企业采购里不值一分钱。
因为 demo 时供应商问的是自己挑的问题。专业的 AI 系统验收靠三样东西:
一、评测集(eval set)
上线前先写好一组问题 + 标准答案,覆盖正常问题和「应该拒答」的问题。我做 HR 制度问答时写了 64 条:52 条问答 + 8 条应拒答(问个人工资、问假病假条怎么开、问别家公司制度)。
没有评测集,优化就是玄学——改了一版,好了还是坏了,全靠感觉。
二、消融实验(ablation)
每加一个技术组件,单独测它值多少分。
▪️ v0 框架默认配置:端到端正确率 0.67
▪️ + 按章节切分:0.80
▪️ + 关键词/向量融合(但中文分词有 bug):0.78 ⬇️
▪️ + 修好中文分词:0.81
▪️ + 元数据过滤(地区/版本):0.83
▪️ + 拒答 + 表格查表:0.98
看到第三行了吗?加了一个「理论上应该变好」的组件,分数反而掉了——因为框架的中文分词默默失效了。没有消融实验,这个 bug 永远发现不了,系统带病上线。
三、拒答准确率
v0 的拒答准确率是 0.00——8 个不该答的问题全答了。企业场景里,「不该答却答了」比「该答没答出」危险十倍。v1 做到 0.88,剩下的 1 条是「食堂今天有什么菜」这种真歧义,如实标注为已知不足。
验收时怎么问供应商:
- 评测集多少条?拒答样本占比?
- 能不能给每个组件的消融数据?
- 评测结果是不是随代码一起交付、我能复跑?
答不上来的,demo 再好看也别签。
下节课(本系列最后一课):企业 AI 落地的两大流派——为什么「全自动 AI 员工」在企业里很难交付。
AI落地 #软件验收 #RAG #评测 #企业采购
來源:DEV Community · dev.to