跳到正文
新浪科技·· 20 天前AI 評分47

OpenAI 發佈 LifeVal 基準:從選幼稚園到報税,測試 AI 的「人間煙火」技能

OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的“人间烟火”技能

AI 導讀

OpenAI 於 11 月 2 日發佈 LifeVal 基準,評估 AI 模型能否協助普通人完成日常事務。公開示例中,為孩子尋找幼稚園得分 93.1%,組織防洪志願者得分 98.0%,膳食計劃得分 90.4%。LifeVal 目前主要供 OpenAI 內部評估,完整任務集及評分程式碼尚未公開。

正文

IT之家 11 月 3 日消息,OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准,用来衡量 AI 模型能否真正帮助普通人完成日常事务,该公司称这一评估旨在让通用 AI 更贴近“对人类最有用的日常帮助”。

在 LifeVal 的任务设计上,OpenAI 首先参考了美国的“美国人时间使用调查”和跨国“多国时间使用调查”,随后又对 3,995 名具有人口代表性受访者开展调查,询问他们最希望个人 AI 助手在哪些事务上提供帮助。

据此,LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。

与传统基准不同,LifeVal 更关注任务是否能被推进到“可执行、可交付”的状态。例如,AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求筛选;处理财务时,也要兼顾账单、收入和风险。OpenAI 表示,模型可能需要理解聊天记录、浏览网页、整合多方信息,并给出符合个人处境的建议。

OpenAI 称,过去一年已将 LifeVal 用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分 93.1%,组织防洪志愿者为 98.0%,为糖尿病家长准备膳食计划为 90.4%。IT之家附上相关截图如下:

不过,LifeVal 目前仍主要是 OpenAI 的内部评估。外界尚未获得完整任务集、评分代码、误差范围或可独立复现的排行榜,因此其结果仍需谨慎解读。

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn