跳到正文
DEV Community· arthur·· 13 天前AI 評分43

前沿模型需要甚麼數據?拆解 Handshake 的三類評測場景

前沿模型需要什么数据?拆解 Handshake 的三类评测场景

AI 導讀

Handshake 展示金融建模、科研圖像判讀和文件操作安全三類場景,呈現前沿模型評測如何涵蓋任務工作流、專業判斷及執行軌跡。金融場景採用 ATLAS-Finance 模擬銀行環境,科研圖像場景使用 VIALS;安全場景則追蹤文件存取和工具操作。這些演示指出,評估智能體不能只看最終答案,但不構成對模型整體能力的排名。

正文

写好标智库

前沿 AI 实验室购买的专业数据,具体长什么样?Handshake 展示的三个场景,把这个问题落到了实际任务上:让智能体在模拟银行中完成金融建模、判读科研图像,以及在文件操作中接受安全评估。

这些演示关注的不只是模型最后说了什么,还包括它如何找到任务、使用材料、调用工具,以及在哪一步犯错。对于关注专业数据与智能体评测的写好标智库读者,这三个场景提供了一个具体的观察切口:评测对象不仅是答案,也包括生成答案的工作流。

一、金融:知道规则,不等于会在工作流中应用

在 ATLAS-Finance 的模拟银行环境中,智能体需要从邮件中找到任务,判断哪些文件与交易相关,最终交付电子表格工作簿。演示使用的项目是 Project Falcon。

其中一个错误与客户邮件中提到的既有商誉有关:智能体把相关数值带入 Python,并执行了减法。参与演示的 Collin Schweiker 指出,如果直接提问,模型能够解释相应的税务处理;但进入具体工作流后,它没有识别出这条规则应该应用于哪一行代码。

这里暴露的是“能解释知识”与“能在任务中正确调用知识”之间的差距。 单独测试税务知识,未必能发现同样的问题;把邮件、文件、代码和工作簿串起来,错误才会显现。

金融部分还涉及 Excel 评分器、部分得分、依赖条件,以及智能体钻评分机制空子的案例。不过,演示介绍并未完整展开这些机制,不能据此判断其整体设计或效果。

二、科研图像:识别结构,也要理解结构的缺失

生命科学部分展示了 VIALS,一个用于评估模型理解科研工作图像能力的基准。任务包括凝胶条带判读和脑肿瘤组织图像分析。

在组织图像任务中,Nick Magazine 展示了九张切片,要求选出血管坏死程度最严重的两张。他给出的答案是 H 和 I;模型选中了这两张,但又额外选择了 G。

这个例子说明,选中正确选项不等于完成了任务:题目要求选出两张,额外选择同样属于判断偏差。

演示的另一个重点是专家如何解释图像。Nick 特别指出组织中“缺少了什么”,以此说明判断依据。这呈现出专业视觉评测与普通图像识别的区别:需要识别的不一定只是明显存在的结构,也可能是具有专业意义的结构缺失。

团队还介绍了利用中间图像描述来训练和评估视觉语言模型的方法,但没有提供可用于比较的具体提升数据,因此不宜进一步推断其效果。

三、安全与对齐:最终回复不能替代执行记录

在模拟文件访问任务中,Steve Kelling 和 Nishant Ranka 关注的是智能体的操作轨迹,包括:

  • 读取了哪些文件;
  • 是否检查过文件副本;
  • 随后如何处理 shell 历史记录。

如果只看智能体最后一段回复,这些行为中的大部分都不会显现。该演示因此把评估对象从最终文本扩展到了工具调用和文件操作过程。

对于能够操作文件、调用工具的智能体,“回复是否合适”和“执行是否可靠”是两个需要分别检查的问题。 最终文本无法完整反映此前发生过哪些操作。

安全部分还讨论了 CAREBench、拒绝回答的局限、错误发送文件、公平信贷测试,以及面向企业设计私有基准等议题。但介绍没有展开这些任务的详细结果,不能据此判断模型的整体安全水平。

三类场景,对应三种评测关注点

场景 任务材料与环境 评估关注点
金融建模 模拟银行邮件、交易文件、代码与工作簿 能否把专业规则应用到具体计算环节
科研图像 凝胶图像、组织切片等专业视觉材料 能否识别关键结构,并作出准确判断
安全与对齐 可追踪文件访问和工具调用的模拟环境 实际操作是否可靠,而不只是最终回复是否合适

这三个案例展示的并不是同一种“题库”。金融任务依赖完整工作流,科研图像任务依赖专业判读,安全任务则需要保留可检查的执行轨迹。

它们共同强调:最终答案只是评估的一部分。 对专业智能体而言,任务上下文、专家判断和执行过程,都可能揭示单轮问答无法暴露的问题。

同时,这些内容属于具体演示案例,而非对所有前沿模型的系统性排名。不能据此推断某个模型在整个金融、生物或安全领域的总体能力。

來源:DEV Community · dev.to