跳到正文
新浪科技·· 24 天前AI 評分66

Gemini 4 Carbon 首輪評測:3D 表現可與 Claude Opus 5.5 比拼,講解及科研程式測試落後

谷歌 Gemini 4 Carbon 首测!3D 硬刚 Opus,全球第一也翻车了?

AI 導讀

Gemini 4 Carbon 的首輪評測顯示,它在 3D 場景生成和空間理解方面表現突出,但在講解及科研程式測試中並非全面領先。它在 AA 榜單列第一、Arena 智能體榜和 Vals 均列第二;FrontierCS 2 的 48 道科研程式題中通過 25 道,比 Claude Opus 5.5 少 3 道。

正文

(来源:AI信息Gap)

Gemini 4 Carbon,看得见,就是摸不着。

第三方评测机构 Artificial Analysis 综合智商第一,Arena 文本榜第一。可谷歌这个新模型,当下只有一小部分网络安全团队能用上。

来自谷歌自家员工的调侃,「所谓 AGI,就是我让 Gemini 4 Carbon 帮我挑台新显示器,它回我,黑五下个月才到,先等等吧。」

但其实,网友们早已把 Carbon 玩出了花。

正式官宣前一周,大模型匿名对战平台 Arena 里就混进了一个疑似 Carbon 的测试版,网友拿它测试 3D 场景、写小游戏,晒了一堆作品。

一位博主用它和 Claude Opus 5.5 加同一段提示词各自生成了一架 3D 飞机后,评价,「我觉得没有哪个模型 3D 建模比它还好。」

Carbon 发布当天,Arena 官方也公布了一期 47 分钟的首测视频,测评员用 Carbon 预览版和 Claude Opus 5.5、GPT-6.1 Sol 一题一题地比。

结论,「它稳居前三。」

01|Carbon 画 3D,硬刚 Opus

Arena 那期视频,第一题是生成 3D 白宫。

上一代 Gemini 4 Argon 那版不算差,就是画面有点发灰,细节也少。Gemini 4 Carbon 这一版挑不出明显毛病,测评员看完就说,「它确实更好了。」

但如果把 Carbon 和 Claude Opus 5.5 放在一起对比,差距就出来了。

Opus 细节几乎拉满,连一根根树枝都画了出来,而 Carbon 的树只有个大概的形状。

当然,成本也相差甚远。这一题 Opus 花了 27.66 美元(依旧雷霆大思考),Carbon 花了约 2.69 美元,只有 Opus 的十分之一。

「如果你的工作就是做这种精细的 3D 场景,多花的钱大概值得;换成别的任务,就未必了。」

一位测评博主用同一段提示词,让御三家里最顶级的模型各生成一只 3D 机械眼,要求会眨眼、会对焦,还能一键拆成零件爆炸图。

Gemini 4 Carbon 用时 29 分 49 秒;Claude Opus 5.5 43 分 21 秒,花费 9.25 美元;GPT-6 Astra 22 分 54 秒,3.28 美元。

最终得分,Carbon 10 分,Opus 9 分,Astra 8.5 分。

打分见仁见智,但画 3D 场景,Carbon 已经能硬刚 Opus。

Gemini 4 Carbon 的 3D 能力,也不只是画面好看。

Andon Labs,就是让 AI 经营自动售货机的那家评测机构,专门考查了各家模型的空间理解能力,让它们通过公寓室内照片还原户型图。

Carbon 得了 0.586 分(满分 1 分),和人类成绩一模一样,超过了 Claude Opus 5.5 的 0.512 分。

02|Carbon 不偷懒了,但代价是慢

Gemini 4 Carbon 这次最明显的进步,是不偷懒了。

一位网友让它做个超级马里奥,「生成时间挺长,差不多 30 分钟,但它不再像 Argon 那样偷懒,一下就懂你要什么,一次就做得很完美。」

Arena 智能体榜,Carbon 排名第二,比 Argon 高了 5 名。

和 Argon 比,用户主动夸它多过吐槽它的比例提升了 13.2 个百分点,确认「活干完了」的比例也涨了 5.6 个百分点。

Carbon 干活更细了,但代价是比 Argon 慢,话也更多。

在第三方评测机构 Vals 的测试里,金融、税务这类任务,Carbon 花的时间是 Argon 的两倍多,法律研究一道题要 50 多分钟。

整套题目做下来,它用的推理 token 是 Argon 的 2.3 倍,多出来的部分主要花在做研究上,写代码倒没多用多少。

不过在 Vals 的综合指数上,它还是比 Claude Sonnet 5.5、Claude Opus 5.5 更便宜,也更快。

AA 那边,Carbon 做完整套题输出了 2 亿多 token,将近 Argon 的两倍。

这么能写,等它正式上线,那点 Gemini 会员额度(尤其是 Pro),怕是更不经花了。

03|讲解题,还是 Claude 更拿手

Gemini 4 Carbon 也有翻车的时候。

Arena 那期视频里有一题是给教堂建模,Carbon 生成的教堂破了几个洞,测评员调侃道,「我上次去的时候,可没见着洞。」

更明显的是讲解题。

测评员让 Carbon 讲讲 1854 年约翰·斯诺是怎么查出霍乱靠水传播的。

看完它画的图,测评员一脸懵,「我不确定你能不能看懂,换我自己,也不一定看得懂。」而 Claude Opus 5.5 画了一张伦敦地图,一看就明白。

在测评员看来,梵高、莫奈这类题,Carbon 比 GPT-6.1 Sol 更有想象力,可有时候像做到一半就放弃了,要论把活完整干完,他还是更放心 Sol。

换成硬核的科研代码,Gemini 4 Carbon 也没占到便宜。

专门考查计算机科研能力的 FrontierCS 2 有 48 道题,每道题把一篇论文的核心方法从代码里挖掉,让模型重写,还得全面超过原版才算通过。

Carbon 通过 25 题,比 Claude Opus 5.5 少 3 题。如果同样在谷歌自家的 AI 编程工具反重力 Antigravity 里执行,它比 Argon 还少 1 道。这就有点尴尬了。

04|Carbon 跑分里有水分?

Carbon 在 AA 榜单上的第一名,其实有点赶巧了。

要是早一天发布,这个第一就轮不到它。因为按旧版测评计算,它 57 分,Claude Opus 5.5 58 分;按前一天上线的新版 v5 算,Carbon 59 分,Opus 还是 58 分。

不过网友们也一致认为,「v5 确实比旧版好,只是模型之间差距太小,一点点差距就能让第一换人。」

也有网友觉得,3D 演示天生就给新模型加了滤镜。真正该测试的是,碰上一堆乱七八糟、需求只说了一半的活,它表现怎么样。

目前来看,Gemini 4 Carbon 的前三位置还是比较稳的。除了 AA 的第一名,Arena 智能体榜、Vals 都把它排在第二。

Gemini 4 Carbon 发布的同一天,谷歌公布了三季度财报。

财报发布后的第一个交易日,谷歌股价收盘大跌 12.6%,创下上市以来最大单日跌幅,市值一天蒸发近 5000 亿美元。

每股收益远低于预期,这一季度 514 亿美元的资本支出又比去年同期翻了一倍还多,投资人担心,在 AI 上砸的钱不知道什么时候能赚回来。

想提前体验 Gemini 4 Carbon?也不是完全没机会。

它疑似借了 Argon 高推理档 gemini-4-argon-high 的壳,混在 Arena 的匿名对战里,投票后揭晓模型时看到这个名字,说不定你就偶遇 Carbon 了。

來源:新浪科技 · finance.sina.com.cn