DeepSeek 開源 DeepInfer 推理引擎,單集羣每日處理量報稱達 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
DeepSeek 開源為 V4.1 Flash 提供推理服務的 DeepInfer,並披露單一集羣每日處理 155T tokens,輸入快取命中率為 96%。報道指出,該處理量包含快取命中,不能等同全新計算量;KV-cache 管理及負載平衡等服務層組件尚未完整公開。
內容將 DeepSeek 公佈的吞吐與每卡時收入,連同 96% 輸入快取命中及未完整公開的服務組件一併梳理,説明這些數字的適用邊界。
由 SerpApi 隆重呈獻:今天的發布涵蓋大量內容,不過你可以把所有內容擷取成 Markdown,供你的 Agent 使用!token 用量只有 JSON 的 50%。
我們上次在4 月談到推理轉折,而過往大部分進展都來自閉源十角獸企業,從Fireworks 到 Baseten,再到Modal。
現在輪到開源陣營回應。今天是PyTorch Conf的第一天,DeepSeek 將一枚洲際彈道導彈射入這場討論,宣佈開源其生產堆疊DeepInfer。這套堆疊可支援長達 72 小時的提示詞快取;OpenAI 剛宣佈的則是12 小時:
這是他們對 vLLM 的客製化版本,並向 SGLang 和 TRRTLLM 致謝,但也新增了不少內容……唯獨未包括他們的核心技術——他們極致優化的 KV 快取(精簡 + >8hour 使用期限)、PD/分離,以及負載平衡(他們的3FS早前已開源)。我們已翻譯他們的網誌文章並在此發佈,另附完整的研究指南、解説文章、程式碼地圖和子系統指南:

正如我們在他們的補充披露中指出,他們聲稱每日提供 155T 個 token,這可讓每張 SM100/A950 卡每小時帶來 $38——這是按離峯價格計算(目前每百萬個輸入/輸出 token 的價格分別為 $0.15/$0.60:155000000 個 token * $0.14 混合成本 / 24 小時,約為每小時 $1m)。以他們的生產數據(我們已翻譯)計算,每部 prefill GPU 每秒處理 1.5 million 個計入快取的輸入 token,輸入快取命中率為 96%;每部 decode GPU 每秒處理 14,000 個輸出 token(涉及 ~2400 部 GPU):

全包成本為每張卡每小時 $5-8,推理利潤率超過 80%!
根據叢集數據估算,這相當於每 GW 約 $166B,按推理利潤計算的回本期為 81 日(DeepSeek 著名的目標是 10 個月回本)。想像一下 Whale 有更多 GWs 時能做到甚麼。

SerpApi 贊助:
以更少 token 為 AI Agent 提供即時搜尋數據
使用SerpApi 旗下 100 多個 API,接收整潔、結構化的 Markdown 格式結果,平均比 JSON 少用約 50% token。只需加入 output=md,或使用 /search.md 端點。無需任何設定,而且所有方案均已包含這項功能,不另收費。
AI News(10/19/2026-10/20/2026)。我們檢視了 12 個 subreddit、544 個 Twitter 帳號,沒有查看其他 Discord。AINews 網站讓你搜尋所有過往期刊。提醒一下,AINews 現已成為 Latent Space 的一個版塊。你可以選擇訂閲或取消訂閲不同頻率的電郵!
AI Twitter 摘要
焦點新聞:DeepSeek DeepInfer——生產環境推理、開源界線與快取 Token 的經濟效益
發生了甚麼
DeepSeek 發佈了 DeepInfer——V4.1 Flash 背後的推理引擎,同時公佈生產環境服務的細節,令這份工程報告與程式碼同樣重要。
此版本涵蓋推理引擎和 API 處理層。 DeepInfer 支援分散式推理、推測解碼、SWA Bounded Replay,以及在 NVIDIA 和 Huawei Ascend 平台上輸出結構化內容。配套的 deepseek-recipe 元件負責在正式環境中進行 token 編碼/解碼,以及相容於官方 API 的處理。DeepSeek 表示,未來的模型推理實作和最佳化也會在此程式碼儲存庫中發布。@deepseek_ai、@deepseek_ai、公告翻譯
報告中的正式環境數據相當可觀,但描述的是一項大量使用快取的服務。 DeepSeek 的工程報告(如所提供貼文中的摘要和引述所述)指出,單一叢集每日處理 155 萬億個 token、輸入快取命中率為 96%、首個 token 的平均等待時間為 400 ms,以及生成速度為每秒 230 個 token,而編碼時可達每秒 300 個 token。報告亦指出,按非繁忙時段價格計算,每加速器小時的收入為 $38。這些是 DeepSeek 自行公佈的正式環境數據,並非經獨立審核的測量結果。@ZhihuFrontier、@swyx
「完全開源」不代表單憑此版本便能重現整個正式環境服務。 雖然 DeepSeek 形容 DeepInfer 為完全開源,但技術説明指出,KV-cache 管理和負載平衡元件尚未完全發布,因為它們仍與內部基礎設施緊密結合。引擎已開源;重要的服務層級協調工作仍須由部署方負責。@deepseek_ai、@ZhihuFrontier
vLLM 提出了最具體的比較回應。 vLLM 團隊承認 DeepInfer 最初主要以 vLLM 為基礎開發,並以 Apache 2.0 授權發布後,表示在相同配置下,GB200 的解碼吞吐量與 DeepInfer 公佈的結果相差不超過 6%。團隊亦發布了 AgentX 結果和重現測試的配方,實質修正了「現有開源引擎無法達到 DeepSeek 效率」的説法。@vllm_project、@vllm_project、重現測試資源
此版本引發了兩場不同的討論:DeepSeek 是否擁有獨特而強大的服務堆疊,以及其披露的資料是否能普遍證明推理具有高盈利能力。前者現已有比較基準測試數據;後者仍取決於工作負載組合、快取計算方式、硬件成本,以及計入哪些開支。@Tim_Dettmers、@zephyr_z9、@Yuchenj_UW
架構:分開各個階段,按計算而非 token 排程
DeepInfer 公開的架構將視覺編碼、預填充和解碼分開,讓各階段按自身的瓶頸擴展。建議的部署配置是:預填充使用一般配備八個加速器的機器,解碼則使用配備 64–128 個加速器的超級節點。解碼會採用大規模專家平行處理來分配 MoE 專家,同時維持較大的有效批次。這些是部署建議,並不足以證明 DeepSeek 正式環境叢集的確切硬件組成。@ZhihuFrontier
排程細節説明瞭,為何傳統的「每批次 token 數量」比較可能忽略重大差異:
預填排程會估算注意力運算成本。工作會按估算的運算量分配,而不只是根據原始請求長度。分塊大小會調整以配合時間預算,而不是對不同請求一律採用固定分塊大小。@ZhihuFrontier
預填路由不需要快取親和性。由於快取前綴集中存放於共享儲存空間,請求可派往可用的工作節點,而非先前處理其前綴的工作節點。在一篇詳細的中文分析中,推理工程師 Su Jin Yan 指出,這是特別實用的生產環境設計:預填資料並行組按「計算 token」平衡負載,而共享儲存空間則提供可重用狀態。同一分析亦指出,系統採用請求分桶,以及配合執行時估算器的 FIFO 排程。@SuJinYan123
解碼路由會同時平衡正在執行的請求數和 KV 快取長度。請求數可大致反映排程壓力;累積 KV 長度則反映記憶體及狀態壓力,彌補單看請求數的不足。工程評論指出,預填的擴展訊號是整體運算負載,而解碼的擴展訊號則是正在執行的請求數。@ZhihuFrontier、@SuJinYan123
專家並行負載平衡會複製熱門專家。系統會定期重新分配副本,以減少路由偏斜造成的裝置間等待。這種做法需要在額外消耗 HBM 與提高吞吐量之間取捨;隨着副本數增加,效益會遞減。合適的複製因子視乎工作負載而定。@ZhihuFrontier、@SuJinYan123
CPU 排程會與加速器執行重疊。非同步排程可消除解碼步驟之間的閒置間隙,而不是把主機端協調工作當作沒有成本。@ZhihuFrontier
一項值得注意的技術觀察是,公開的 Blackwell 配置似乎沒有採用張量並行。一位評論者將此與 vLLM/SGLang 的預設方案作比較,並把這種做法追溯至 DeepSeek V3 在 H800 時代面對的互連限制。這是對該配置的解讀,並非張量並行普遍較差的證據。@nrehiew_
規模亦很重要。Su Jin Yan 認為,大規模專家並行預填需要足夠流量和工作節點才值得採用;對於預填工作節點只有少數的中小型部署,則較傾向採用管線並行。作者亦指出,各層之間的異質性可能令管線分區更複雜。這是從業者的判斷,並非確立普遍適用分界點的基準測試。@SuJinYan123
快取階層:持久化前綴及低成本重建暫態狀態
快取設計是連結吞吐量數字、Agent 工作負載,以及據報每個加速器收入的核心。
持久化區塊 KV 存放於獨立的 3FS 儲存叢集,該叢集具備約 100 PiB SSD 容量。據報,代理程式流量的保留時間為三天,聊天機械人流量則為七天。任何預填工作節點均可擷取快取前綴,令快取位置與運算部署位置分離,並讓儲存和運算可獨立擴展。@ZhihuFrontier
這種保留方式對反覆重新傳送不斷增長的指令、儲存庫內容、工具輸出及先前回應歷史的 Agent 很有用。這亦表示 每日服務 155T 個 token 不應解讀為每日新生成 155T 個 token:快取命中計入服務的 token 統計,而新計算的 prefill 與自回歸輸出所需成本則截然不同。因此,報稱 96% 的輸入快取命中率,是理解標題吞吐量的關鍵背景。@ZhihuFrontier、經濟工作負載假設
這項實作處理兩種不同的狀態生命週期:
持久區塊快取會以非同步方式載入。主機至裝置的傳輸會與層執行重疊。Su Jin Yan 指出一項較底層的實作細節:透過 CUDA copy engine 複製細粒度 KV 區塊時效能不佳,因此文中所述路徑採用 GDR/RDMA 傳輸,目標是在不佔用 SM 的情況下充分利用 PCIe 頻寬。這是根據報告得出的技術觀察,並非該則推文中另行測量的結果。@SuJinYan123
滑動視窗注意力狀態保留在主機記憶體,而非持久性 SSD 儲存空間。這種狀態主要在作用中的工作階段內有用,生命週期亦比可重用的區塊前綴短。@ZhihuFrontier
SWA Bounded Replay 只根據最近的 128 個 token 重建遺失的短期狀態。重播會將注意力限制在該片段,同時重用持久區塊快取,因此得到的是近似結果,而非根據完整的先前歷史重建狀態。DeepSeek 表示,這項做法令整體 prefill 計算量接近減半。考慮能否移植至其他架構時,這種近似方式及其對特定模型的適用性相當重要。@ZhihuFrontier
Su Jin Yan 另指出,較長的保留尾段只能額外增加約 0.5–1 個百分點的快取命中率,顯示儲存容量與重新計算之間存在取捨。同一評論亦指出,以解碼為主導的快取管理可讓生成的輸出在後續回合成為可重用的前綴狀態。@SuJinYan123
這個保留時長令人聯想到 OpenAI 另行公佈的 12 小時 API 提示詞快取,相較於其預設的 30 分鐘保留時長,亦支援在同一請求中混合不同保留時長。兩者並非相同產品或架構,但都面向會在長時間間隔後重用上下文的持續運作 Agent。資訊流其他地方有關登入狀態下無限期快取的説法屬評論,並非 API 公告所列條款。@OpenAIDevs、保留時長設定、比較評論
推測解碼、API 相容性與模型專屬最佳化
DSpark 令推測驗證具備適應性。它會預測草稿 token 的接受機率,並調整驗證長度,以最大化預期吞吐量。DeepSeek 表示,相較於一律驗證五個草稿 token,生產環境吞吐量提升了 6%。這是相對於特定推測解碼基準的增幅,並非相較於非推測解碼提升 6%。@ZhihuFrontier
deepseek-recipe處理的是服務介面,而不只是 tokenizer 速度。它支援 Chat Completions、Responses 和 Messages API,可平行處理 tokenization,並能區分真正的控制 token 與外觀相同、由用戶以文字輸入的字串。這種區分可防止用戶輸入的字面內容意外被解析為結構分隔符;但不應將此誤認為完整的提示詞注入防護。@ZhihuFrontier、@deepseek_ai
社羣的解釋將效率歸因於多項模型與執行時共同設計的選擇:196B Engram 參數、較小的 prefill 主幹網絡(每個 token 啟用約 8B 參數,decode 時則為 16B)、寬幅 EP、高度壓縮的 KV,以及推測解碼。文章還提到552B 專家參數、DP64/EP64、每個裝置約有 45B 常駐參數、權重大多為 4-bit,以及聲稱 KV 較 GQA 基準減少 400×。這些都是二手説法:文章沒有充分交代複製方式、共享權重、量化配置或 GQA 參照基準,因此無法獨立重現這些數字。尤其是,45B/裝置並非單純以 552B 除以 64 得出。@bookwormengr
模型特定性正是不能假設同樣的效能提升會自動套用到任意模型檢查點的原因之一。Su Jin Yan 認為按模型採用不同的程式碼庫/核心策略有其價值;Andrew Carr 則建議使用編碼 Agent 將實作調整至其他模型,但沒有提供可移植性或效能驗證。@SuJinYan123、@andrew_n_carr
獨立比較:vLLM 重現了甚麼,沒有重現甚麼
對「只有 DeepSeek 才能做到」這種説法,最有力的技術反證是 vLLM 的後續比較:

必須分清三點:
誤差在 6% 以內的結果指的是 decode 階段的效能相若,並非重現 DeepSeek 的整個服務。這並不能證明兩者在 100-PiB 快取操作、保留成本效益、路由、生產環境可用性,或 DeepSeek 流量分佈下的端到端延遲方面相若。
每 GPU 每秒 1M 個 token 的數字,不可能代表單一用戶的生成速度。同一篇文章另行報告了約 200 P90 輸出 TPS;比較這項吞吐量標題數字與純 decode 吞吐量前,必須先了解基準測試如何計算輸入、快取及輸出。
這項工作是外部實作比較,但仍是由競爭引擎團隊自行報告。公開的 InferenceX 結果及配方有助提升可重現性,但不代表每項所引用的生產環境數據都經過獨立審核。
開源發展脈絡十分清晰:vLLM 感謝 DeepSeek 以 Apache 2.0 授權發布程式碼並致謝,Woosuk Kwon 則形容 DeepSeek 是早期採用者及貢獻者。因此,DeepInfer 更適合理解為生產環境經驗迴流至現有生態系,而非一個完全獨立、取而代之的方案。@vllm_project、@woosuk_k
其他反應涵蓋了多種有參考價值的觀點:
強力背書:Tim Dettmers 認為,以用戶規模而言,DeepSeek 的推理技術架構可媲美 OpenAI,並勝過 Anthropic;Graham Neubig 則指出官方 API 的速度和價格具優勢。兩人均未提供同條件的跨實驗室基準測試。QuixiAI 表示,這次發布將為 SlimServe 提供參考。@Tim_Dettmers、@gneubig、@QuixiAI
對部署持懷疑態度:Su Jin Yan 認為,對有經驗的推理開發者而言,工程文章比程式碼庫更有參考價值,部分原因是有重要元件缺失。Finbarr Timbers 要求與 Modal、Together 和 vLLM 作比較;所提供的帖文中沒有與 Modal/Together 在相同條件下的比較。@SuJinYan123、@finbarrtimbers
一名原本十分熱情的評論者表示有保留的支持:Teortaxes 承認基礎設施並不齊全,並指出 3FS 加上可能採用的 Dynamo 或可彌補部分不足;他估計,要達到叢集規模的吞吐量,約需3,000–4,000 GB200s。這是建議的部署方案,並非已驗證的重現結果。@teortaxesTex
其後有人在程式碼庫中找到技術報告的官方英文版,因此不必再完全依賴社羣翻譯。@teortaxesTex
經濟效益:披露了可觀收入,但未完整交代利潤率
最重要的財務披露是按非繁忙時段價格計算,每加速器小時收入為 $38。收入不等於利潤,而加速器小時只是正式服務成本結構的一部分。@swyx
一項廣泛流傳的估算最初得出推理利潤率為 87.76–96.94%,其假設如下:
所有計費 token 中,97% 為快取輸入、2% 為未快取輸入、1% 為輸出;
每張 GPU 每秒處理 80K 個未快取輸入 token,以及每張 GPU 每秒處理 16K 個輸出 token;
每名用戶每秒輸出 250 個 token;
每 GPU 小時租金為 $3–$6。
以總計 10 億個計費 token 計算,該模型包含9.7 億個快取輸入 token、2,000 萬個未快取輸入 token及1,000 萬個輸出 token,所需時間約為875 GPU 秒:250 秒用於預填充,625 秒用於解碼。估算的 GPU 成本為$0.73–$1.46,對比之下,非繁忙時段收入為$11.91,繁忙時段收入則為$23.82。@zephyr_z9
作者其後修正估算:理想化情境推算的收入約為每小時 $49,而 DeepSeek 報告的數字是每小時 $38,即實際服務表現約為基準測試表現的 80%。修正後引用的利潤率範圍為84.2–96.1%。引用原本的估算時,不應忽略這項修正。@zephyr_z9
其他帖文採用較高的硬件成本:
以每小時 $7 的成本對比每小時 $38 的收入,計算結果約為81.6%,尚未計入其他成本。Yuchen Jin 特別指出,DeepSeek 沒有披露收入數字所對應的 GPU 型號。@Yuchenj_UW
以每小時 $5–$10 計算,同一個只計加速器成本的估算結果約為73.7–86.8%,而非得出一個普遍適用的「80% 服務利潤率」。@swyx
這些計算沒有計入或未有完整分攤SSD 快取設備羣、CPU、網絡、閒置/備用容量、故障、工程、支援及其他營運成本。計算亦建基於對快取有利的 token 組合。訓練開支和未來算力承諾則是另外的項目:推理業務即使有高貢獻毛利率,公司整體仍可能錄得巨額虧損。
較進取的推算明確屬推測。Teortaxes 估計,據稱的 $1B ARR,在非繁忙時段價格下,約需 42 個 GB200 NVL72 機櫃/約 3,000 張 GPU 支持;其後在納入繁忙時段價格後,將估算下調至 33 個機櫃。貼文亦推算,約 4,167 個機櫃可帶來 $100B 年收入,以及每吉瓦的高收入。這些都只是情境計算,並非經審計的 DeepSeek 收入、機羣規模或回本資料披露。初步估算、修訂估算、業界推算
各界對市場影響的看法不一。有人認為,這些披露顯示推理已跨過盈利門檻;也有人預期 token 價格下跌、算力價格上升,最終會壓縮回報。這對 Moonshot/Zhipu 託管協議可能造成的競爭影響雖然合理,但尚未量化:可公開部署的技術堆疊既可改善服務供應商的經濟效益,也會加劇價格競爭。@KCDN19、價格趨同論點、託管服務競爭
NVIDIA、Ascend 與硬件推理的限制
Ascend 相容性已獲確認,但 Ascend 在生產環境的效能是否相若,則尚未證實。數篇貼文將對 Blackwell 的支援、對 sm100 的支援,以及採用 NVL72 形態的配置,解讀為生產環境使用 NVIDIA 硬件的證據。這些只是線索,並非已披露的硬件清單,也不是經測量的 NVIDIA 與 Ascend 比較。@eliebakouch、@stochasticchasm、明確指出不確定性
較後期的一項硬件分析比較了 GB200 與 Ascend 950DT 已報告的解碼數據:
在 100 TPS 限制及 131K 上下文下:每部裝置約為 25.5K 對 5K tokens/s/device。
在 230 TPS 下:約為 20K 對 2.7K,差距由約 5× 擴大至 7.4×。
該分析引述 DeepEP-Ascend 較早前披露的資料,指 EP64–128 及 combine 操作仍在優化中,包括本地歸約開銷,以及 URMA 帶來的 HBM 競爭。
該分析推測,經改進後可達到 8–10K tokens/s/chip,而以假設價格 $10M/NVL72 機櫃及傳聞中的 $37K/950DT計算,經濟效益的交叉點約為 6.8K tokens/s/chip。
這些推算混合了不同的測量數據、假設採購價格,以及未經證實的未來優化成效;它們並非在相同條件下進行的 DeepInfer 硬件基準測試。@teortaxesTex
同一位評論者推測,DeepSeek 到 2027 年底會大規模配置 Ascend,並擁有超過 1 GW 的 Blackwell 等效算力;同時亦提及一項與之矛盾、由模型生成的 250K 張 GPU估算。這兩項預測都不是 DeepSeek 的採購公告。算力推算、互相矛盾的估算
V4.1 Flash:低成本推理服務能放大能力,但不足以定論品質
獨立評測顯示,開放模型的能力有顯著進步,但並非在所有方面都達到前沿模型水平:
Arena:V4.1 Flash 20261017 Max 在 Agent Arena 和 Code Arena: WebDev 中排名第 #1 開放模型。在 Agent Arena 中,它總排名第 #11,在 7,500+ 次真實世界工作階段中,淨改善幅度為 +5.1%,每項任務的成本中位數為 $0.20。Arena 將此形容為:以 27% 的成本,取得 GPT-6.1 Sol 約 37% 的改善幅度。報告列出的指標包括:已確認成功率 +11.5%、好評相對投訴 +5.9%、Bash 可靠性 +5.4%,以及可引導性 +2.5%;該評測中沒有觀察到工具幻覺問題。@arena、詳細結果
網絡安全:Vals 報告指,V4.1 Flash 1017 在一項使用 Pi-based agent 的模擬企業網絡任務中,平均進度超越 GPT-6 Sol。DeepSeek 和 Sol 各進行了三次全新範圍測試;其他模型則各進行一次。完整評測詳情仍有待公佈。DeepSeek 使用的 token 大幅較多,但 API 總成本較低。@ValsAI、成本解讀、方法
網絡安全測試結果在效率和最佳單次表現方面存在爭議。Scaling01 認為,稱 DeepSeek「勝過 Sol」誇大了結果,因為 DeepSeek 的效率低數倍。Teortaxes 報告指,DeepSeek 使用的 token 約為 Sol 的 4.3×,所需時間則為 2.4×,並指出 Sol 的最佳一次測試達到了一組 DeepSeek 所有測試均未達到的目標。建議把節省下來的資源用於重複測試或 swarm,仍屬假設,並非在相同預算下評測所得的結果。@scaling01、@teortaxesTex、相同成本下使用 swarm 的建議
非正式報告的結果比受控證據所能支持的更為正面。Teortaxes 描述了幾輪冷知識問答測試:DeepSeek 的得分為 100%、100% 和 91%,MiniMax 則約為 60%、48% 和 62%;在一項描述/拼寫變體測試中,兩者得分為 100% 對 50%。這些都是由作者設計的小型測試,題目由模型生成,答案鍵亦有錯誤;結果可作為進一步實驗的方向,但並非經驗證的知識基準測試,也不能證明差異單由 Engram 引起。另一名用戶表示,藉助 Hermes 進行 AI 研究的效果出色;另一則帖文則稱,DeepSeek 在另一項評測中的表現仍遠遜 Sol-xhigh。冷知識測試、後續測試、拼寫變體測試、研究軼事、相反結果
本機部署帶來另一種取捨。Brandon Music 發布了 TrellisMX K2 Mix,目標硬件為兩張 RTX PRO 6000;它採用兩位元專家,其中 629 個專家提升至三/四位元,並使用四位元 Engram 表,容量目標約為 3M KV tokens。據報平均 KLD 為 0.1306 nats,比純 K2 低 8.6%;另一個 +5GB 版本的目標容量約為 2M KV tokens。目前只測量了 KLD,而且推理服務使用的是測試映像,因此任務品質能否維持、實際速度及運作穩定性仍未確立。@BrandonMusicKy
Agent 基礎設施、本機執行與硬件加速
長上下文推理核心:SGLang 已合併對 megakernel 的支援;SemiAnalysis 報告指,在 GB300 NVL72 上使用 AgentX 時,每名用戶的速度接近 1,000 tokens/s/user;在 MI355X 上,互動性則提升 1.5×。另外,Inferact 報告指,使用 vLLM TorchTPU 中的開源 megakernel,Kimi K3 在 TPU v7 上達到每名用戶 391 tokens/s/user(SGLang 結果、TPU 結果)。
Apple silicon 執行效能提升:PyTorch 2.15 以 Metal 核心取代數條 MPSGraph 路徑。據報改進包括 MoE 解碼速度提升 5–6.5 倍、Qwen3.6-35B-A3B 在 M3 Ultra 上的速度從 9.4 提升至每秒 61.3 tokens、支援 MPS 上的 FP8,以及 Wan2.2 VAE 的峯值驅動程式記憶體用量從約 270 GiB 降至 8 GiB。這些改進直接納入 PyTorch,而非獨立的推理執行環境(發布摘要)。
本機 Perplexity Computer:現在模型和 Agent 均可完全在支援的 Apple silicon Mac 上執行,包括離線使用,並能與原生 App 及本機檔案互動。
持續運作的 Agent 服務:LangChain 的 Managed Deep Agents 整合了用戶專屬憑證、範圍受限的記憶、沙盒執行及排程工作;Hugging Face 的 Agent Manager 則可在 Claude Code、Codex 及其他執行框架中協調持續工作階段(LangChain 架構、Agent Manager)。
裝置端模型、語音及圖像產品發布
Muse Glimmer:Meta 推出的開放式 30B 多模態 Agent 模型,由 Muse Spark 蒸餾而來,目標配置為 32 GB VRAM,並可透過 4-bit 量化及 speculative decoding head 在單張 RTX 5090 上執行。論文報告其在 MCPAtlas 的成績為 75.5,在 SWE-Bench Pro 的成績為 51.2;Qwen3.6-27B 在 OSWorld-Verified 和 TerminalBench 2.1 上仍然領先。模型支援文字、圖像及超過 100 種語言,採用 Apache 2.0 授權(論文摘要)。
Voxtral 3:Mistral 推出批次及串流轉錄、多語言 TTS,以及支援工具呼叫的語音 Agent SDK;用戶可透過其 API 使用,或在客戶的基礎架構上部署(發布消息、部署選項)。
Fibo 2.0:Bria 的 8B 開放權重圖像模型系列包含用於文字生成圖像的 Dev,以及蒸餾版 Edit Turbo。Artificial Analysis 指其開放權重圖像編輯表現領先,文字生成圖像方面則與 Qwen-Image-2.1 統計上不相上下;Bria API 的價格為每 1,000 張圖片 $32(評估)。
Krea 3 Ultra:不同 Arena 榜單及更新版本的排名各有差異。Artificial Analysis 自行發布的公告將 Ultra 列為第 5 名,較早的帖子則曾列為第 4 名;Arena 將它列為多圖編輯第 4 名、單圖編輯第 8 名。較有根據的結論是其圖像編輯質素具競爭力,而非普遍排名第四(Artificial Analysis、Arena)。
價格:Fast 每 1K 張輸出圖片收費 $0.03,另加每 1K 張參考圖片 $0.02。Ultra 僅支援 2K 輸出;使用一張 1K 參考圖片進行 2K 編輯,費用為 $0.27。
獨立評估、網絡能力與安全證據
HealthBench 揭示評分對答案長度的敏感度:Artificial Analysis 為5,000 段一般健康對話及525 段臨牀醫生對話推出排行榜。GPT-6 Astra 在 Professional 的經長度調整分數中以 66.0% 領先;Claude Sonnet 5.5 則以 62.1% 領先一般 HealthBench。
長度影響:Opus 5.5 的 Professional 原始分數最高,達 71.4%,但經調整後降至 59.9%。在一般 HealthBench 中,回答最短的模型在溝通質素方面居首,但完整性得分最低。因此,答案長度是會實質影響排名的因素,並非表面細節。
成本取捨:DeepSeek V4.1 Flash 每項任務收費 $0.005,得分為 60.9%;Sonnet 每項任務收費 $0.08,得分為 62.1%。評分採用 OpenAI 模型,沿用原始實作的做法(方法與結果)。
路由與專用模型的取捨:Vals 在五個路由器及約 1,250 項任務的測試中發現,每個路由器在分數和成本兩方面都至少被一個單獨使用的模型超越。在路由器預算範圍內,若能事後作最佳選擇,分數可提高 8–27 分,顯示選擇策略仍有相當大的提升空間(Router Index、最佳化比較)。
DeepSeek 網絡攻擊測試結果:Vals 報告指,在使用 Pi 測試框架進行的模擬企業網絡任務中,V4.1 Flash 1017 的表現勝過 GPT-6 Sol。DeepSeek 消耗的 tokens 較多,但總費用較低。
安全保障與問責:METR 認同 Anthropic 對受評模型出現災難性錯誤對齊風險偏低的結論,但指出雙方在分析上存在重大分歧。METR 建議對監察系統進行端到端紅隊測試,並評估模型削弱安全相關決策的能力(評估、建議、決策風險)。
科學代理:濕實驗結果與開放式研究的限制
蠍毒素結合蛋白:Anthropic 和 Citrini 報告,211 個經測試的蛋白質設計中有 17 個結合蛋白,此前 Anthropic 內部 Claude 研究模型已進行大量計算工作。所有經測試的設計及實驗室數據均會公開(公告、數據)。
由病理學預測生物學特徵:Sophont 推出 Holon-S1,可從常規病理切片預測空間基因活性及生物標記。團隊表示,該模型已在 16 種器官類型及超過 15 款掃描器上接受評估,在空間基因預測方面勝過兩款比較模型,並找出可能是新型的乳癌及結腸癌生物標記。這些屬研究結果,並非經驗證的治療方案選擇成效(發布公告)。
開放式研究仍具難度:評估人員向 GPT-6 Astra 和 Claude Fable 5.1 提供未公開的 AI 研究問題,並各自給予 $10,000 預算。原論文作者認為,與較早前的測試相比,實驗設計及資源管理有所改善,但仍因創意、判斷、校準及溝通方面的不足,拒絕兩者生成的論文。這項小型研究可作為補充參照,平衡那些針對狹義且可驗證研究任務的結果(評估)。
產業與政策:藥物開發、製造及資本承諾
OpenAI 收購 Orchestra Bio:OpenAI 宣佈收購一個藥物開發協調平台,與 Rosalind 並行,把其生命科學工作由研究工具延伸至實際營運執行。公告未有提供財務條款(公告)。
Arda 正式公開推出:前 OpenAI 研究主管 Bob McGrew 宣佈推出與 Anduril 共同開發的製造業軟件,Anduril 擔任設計合作夥伴。他本人發布的資訊列明,A 輪融資為 $160M,估值為 $1.5B;CNBC 隨附的貼文則稱已集資 $230M,但沒有清楚説明這個數字與宣佈的融資輪次有何關係。首款產品支援手動設計及操作裝配線;下一步目標是發展可重新配置的自動化技術(創辦人公告、CNBC 報道)。
融資及算力支出風險:有報道指,OpenAI 正尋求約 $30B 融資,估值為 $1.4T+,時間早於預期中的 Anthropic IPO。另外,據報《華爾街日報》審閲 Anthropic 的招股書草案後指出,公司上半年收入為 $16.3B,算力及基建開支接近 $9B,未來算力承諾超過 $600B,當中包括仍在磋商的項目。以上均為報道引述的資料,並非已完成的交易或經獨立核實的財務披露(OpenAI 報道、Anthropic 報道)。
熱門推文(按互動量排名)
39,393 — DeepSeek 發布 DeepInfer
5,778 — Anthropic 發表蠍毒結合蛋白研究
5,700 — OpenAI 宣佈收購 Orchestra Bio
3,056 — Mistral 推出 Voxtral 3
2,600 — 研究人員解釋結合蛋白研究結果及生物學限制
2,476 — Hugging Face 行政總裁質疑網絡攻擊紀錄片的敍事方式
2,330 — Theo 否認曾獲得所謂的 Fable 5.5 存取權
AI Reddit 摘要
/r/LocalLlama + /r/localLLM 摘要
1. DeepSeek DeepInfer 開源推理框架
DeepSeek 推出 DeepInfer(活動:313):這張圖片是 DeepSeek 在 X 公布其內部推論框架 DeepInfer 已全面開源的手機截圖: 圖片、GitHub。連結及相關討論中具技術意義的說法是,DeepInfer 大規模支援 DeepSeek V4.1 Flash,單一叢集每日吞吐量據報達 155 萬億 tokens/day,非繁忙時段的定價下每張卡每小時收入為 $38/卡/小時;重點是高吞吐、低延遲的大規模推論,而非模型訓練。留言者對 DeepSeek 將內部生產環境使用的推論技術堆疊開源感到意外,並拿這做法與他們對 Anthropic、OpenAI 或 Meta 的預期比較。另有讀者不太清楚這套框架實際用途;它是服務/推論基礎設施,而非新模型。
一則連結至知乎的來源稱,DeepInfer 能為 DeepSeek V4.1 Flash 提供 高吞吐、低延遲的大規模推論,並報稱單一叢集每日吞吐量達 155 萬億 tokens,非繁忙時段定價下每卡每小時 $38 美元收入:
https://zhuanlan.zhihu.com/p/2095560295930508953
. 有留言者亦提到一項據報的服務數據:256 tokens/s × 100 位使用者;若能在生產環境中持續維持,代表並行解碼吞吐量極高。
有人提出一項技術疑問:DeepInfer 是通用推論框架,還是主要針對 DeepSeek 自家模型架構和部署環境深度最佳化的技術堆疊?儲存庫初期的 GitHub 星數偏低,與公告帶來的高互動相比,留言者認為這可能只是因為項目剛公開;他們期待工程師檢視實作和可移植性後,才會有更有意義的評估。
DeepSeek 發布 DeepInfer:面向 DeepSeek 模型的開源高效能大規模推論框架!(活動:1023):DeepSeek 發布了 DeepInfer,這是一套面向 DeepSeek-V4.1-Flash 的開源高效能離線推論框架,提供多項以生產環境為導向的原語,包括最佳化核心、注意力/資料/上下文並行、配備 EPLB 的 MoE 專家並行、DSpark 式推測解碼、SWA 有界重播、非同步排程、結構化輸出、批次不變推論,以及確定性抽樣。目前支援 NVIDIA SM100 GPU 及 Huawei Ascend 950 NPU,並可透過 DEEPINFER_ACCELERATOR=nvidia|ascend 設定加速平台;需求包括 Linux/Python 3.12,以及 CUDA 13 或 CANN 9.2。不過,完整的線上服務仍需外部 KV cache 管理、prefill/decode 分離,以及 DP 副本負載平衡。DeepSeek 亦發布了 deepseek-recipe,這是以 Rust 編寫並提供 Python 綁定的函式庫,可轉換協定及解析模型輸出,支援 Chat Completions、Messages 和 Responses 等 API 格式。留言者認為,這次發布有助社群引擎(例如 gufo、halogen、strixite 和 Strata)逆向研究生產推論技術。部分留言者亦關注明確列出的 Ascend 950 支援;其中一人開玩笑說「Nvidia 今次慘了」,但目前列出的 NVIDIA 目標仍是新一代 SM100,並非現時廣泛部署的 GPU。
DeepSeek 的發布分成兩個儲存庫:DeepInfer,定位為供 DeepSeek 模型使用的高效能大規模推論框架;以及 deepseek-recipe,這是一個以 Rust 編寫並提供 Python 綁定的函式庫,用於轉換協定及解析模型輸出,支援 Chat Completions、Messages 和 Responses 等 API 格式。
留言者指出,目前列出的加速器目標包括 NVIDIA SM100 GPUs 及 Huawei Ascend 950 NPUs;建置時可在執行 ./build.sh 前,透過 DEEPINFER_ACCELERATOR=nvidia 或 ascend 選擇平台。Ascend 支援之所以受關注,是因為這表示 DeepSeek 的最佳化不限於標準 CUDA/NVIDIA 路線。
有留言者引用 DeepSeek 在知乎的貼文,稱每 GPU 小時約 $38 的收入/吞吐經濟效益,並連結原文 zhuanlan.zhihu.com/p/2095560295930508953。討論中有人提出,能否用類似的每 GPU 經濟數據估算 OpenAI 或 Anthropic 等競爭對手的推論收入;不過留言沒有提供具體推導。
DeepSeek V4.1 Flash 1017 真的能在 12GB VRAM + 64GB RAM 上運行嗎?(活動:352):這張 圖片 是一則 X/Twitter 討論串的截圖,聲稱 DeepSeek V4.1 Flash 1017 或可在本機以 Q4 配合 12GB VRAM + 64GB RAM 運行;Reddit 貼文則詢問 RTX 3060 12GB 能否卸載足夠模型層,令推論變得可用。主要技術反駁是,據報 V4.1 Flash 的許多專家已透過 mxfp4 + fp8 壓縮至約 4.25 bpw;因此即使總 RAM 足夠,或許仍能 裝得下,但大量依賴 CPU/RAM 執行的預期速度可能極慢——一名留言者估計約 ~3 tokens/sec。留言者懷疑這種方式是否適合日常使用;共識較接近「可以載入」,而非「用起來舒服」。一則留言指出,提出原始說法的人是 Strata 開發者,這令容量估算較可信,但不代表性能預期同樣可靠。
留言者質疑 DeepSeek V4.1 Flash 1017 能否在 12GB VRAM + 64GB RAM 上實際運行:據稱即使是「Flash」版本,亦已約為 4.25 bpw,其中許多專家採用 MXFP4 + FP8,因此一般 Q4 格式很可能無法在這個記憶體預算內裝下。
若要實際運行,或許需要大量卸載:有留言者指 Q4 裝不下,建議直接查看 Hugging Face 上的模型大小,再把 n-grams 卸載至 NVMe,並 從磁碟串流部分 MoE 專家。理論上可能可以運行,但預期吞吐量會很低;有估算約為 ~3 tokens/s,實際速度也可能更慢,視乎磁碟和卸載實作而定。
有人質疑 Strata 原本的說法是否準確;留言者指出,即使能把模型「裝進」RAM/NVMe 的組合空間,真正值得關注的仍是實際推論速度,而非單純能否載入。
2. MiniMax M3.1 Flash 發布
MiniMax M3.1 Flash 發布,模型權重將於 10 月 23 日公開(活動:874):這張 圖片 是 MiniMax 在 X 發布的官方公告,介紹 MiniMax M3.1 Flash,標語為「空間級效能+兔子般速度」;API 現已開放使用,開放模型權重預定於 10 月 23 日推出。留言者補充,該模型據報採用 MoE,總參數量為 428B,啟用參數約 23B,並具備稀疏注意力及原生視覺編碼器;相關預覽/工具頁連結: agent.minimax.io/tools/m3-1-flash-preview.留言中的主要技術疑慮,是對基準測試的熱議很大程度取決於模型大小/啟用參數量是否明確;缺乏架構細節,性能說法便難以置於適當脈絡之中。
有留言者引用 MiniMax M3.1 Flash Preview 工具頁,指出該模型採用 混合專家架構,總參數量為 428B,啟用參數約 23B,並具備 稀疏注意力 及 原生視覺編碼器:https://agent.minimax.io/tools/m3-1-flash-preview。這直接回應了討論中對模型大小的疑問,也顯示它定位為大型稀疏多模態系統,而非密集型 LLM。
MiniMax-M3.1-Flash 即將推出(活動:521):MiniMax 透過官方 X 貼文預告 MiniMax-M3.1-Flash(來源),但 Reddit 貼文沒有提供架構詳情、參數量、上下文長度、定價、推出日期或基準測試結果。唯一的技術線索是產品命名:留言者推測「Flash」或代表以速度/延遲為優先的版本,但沒有證據支持。留言者對「Flash」的含義持懷疑態度,笑稱以現時 LLM 的命名方式,它仍可能是非常大型的模型,例如 「Flash 代表 500B 模型」;又或嘲諷所謂輕量級模型其實一點也不小。
3. 基準測試灌水與 AI 垃圾內容量度
AI 實驗室公布的基準測試分數平均比獨立測試者高 6.4%(活動:334):這張圖片是 whatmodel.sh whatmodel.sh 公開排行榜上的技術基準比較圖,展示 611 組配對比較,涵蓋 180 個 AI 模型和 103 項基準測試,共來自 1,629 項已公布結果。報告指出,針對相同的模型/基準測試組合,AI 實驗室自行公布的分數平均高 6.4%,其中實驗室分數較高的案例有 375 宗,獨立測試者較高的有 216 宗,另有 20 宗打和;差距最大的幾項中位數基準測試包括 SWE-bench Verified 和 MBPP,實驗室分數約高 +9.0 分。 圖片 · 互動圖表 · 數據/程式碼留言者討論差距是否源於刻意抬高分數,還是較一般的可重現性問題,例如套件版本、評測框架設定、隨機種子、提示/評估配置,或實驗室為呈現最佳結果而調校基準測試工具。有人把它與 Apple 或 Nvidia 等公司偏向供應商利益的效能圖表相提並論,認為只有經獨立重現或同儕審查的結果才值得信任。
多位留言者認為,平均差距 6.4% 可能源於基準測試的可重現性問題,而非直接灌水:套件版本、評測框架設定、隨機種子、提示格式,以及各實驗室專用的基準測試工具,即使只有細微差異,也足以顯著影響公布分數。一種看法是,實驗室很可能會針對展示模型時使用的精確評測框架/配置作最佳化;獨立測試者則可能採用較通用、較少為特定模型調校的設定。
有留言者指出,平均差距可能受離群值左右,並認為中位數差異或許會較接近公布的基準測試數值。這表示若少數極大偏差主導整體結果,標題所列的平均值可能會誇大系統性灌水的程度。
有人提出一種技術解釋:部署版本不同。實驗室可能以完整權重模型(例如 BF16)進行基準測試,獨立測試者則常用已量化為 FP8、MXFP4 或其他適合硬件格式的 API 版本。如果屬實,部分分數下降可能源於資料中心張量運算單元上的推論服務最佳化,而非操弄基準測試。
一起看看 r/LocalLLaMA 上的 AI 垃圾內容(活動:455):這篇貼文連結到一項非正式的縱向分析,追蹤 Reddit 多個社群(包括 r/LocalLLaMA)上的「AI 垃圾內容」,並嘗試推算未來的佔比: thil.ooo/blog/measuring-slop。一名技術留言者指出,量度可能有偏差:版主移除內容及 karma 篩選器,可能令 Pushshift/存檔類資料集低估短暫出現的機械人貼文;機械人也可能透過全小寫等手法逃避偵測,削弱簡單的「人類寫作特徵」判斷。該留言者亦建議參考 Claude 相關詞彙分析,即 「Claude 的關鍵支撐詞彙」。版主的反應正面:儘管有人檢舉,版主仍讓貼文保留,認為它直接關乎持續進行的反 AI 垃圾內容管理。留言者大致同意,長破折號、項目符號清單,以及「深入探討」等常見套語,已變成不可靠的 AI 寫作訊號,也可能錯誤指稱人類作品。
有留言者指出,若以 Reddit 存檔資料訓練/評估 AI 垃圾內容偵測器,可能會受多種量度偏差影響:在貼文出現在 /new 前,版主或已移除大量生成內容;新設的 karma 篩選器也可能在上游攔截機械人/垃圾貼文。留言者亦提醒,機械人可能全用小寫發文以避過簡單的文風啟發式判斷,令「人類寫作特徵」的假設失準。
一項技術建議是擴充偵測器的詞彙特徵,加入 Claude 專屬的「垃圾內容」用詞,並參考對 Claude 關鍵支撐詞彙的分析:https://louisabraham.github.io/load-bearing/。留言者強調,應把明顯的 AI 垃圾內容,與更廣泛但未必帶有明顯文風特徵、而且可能很快被移除的低價值生成內容區分開來。
較少技術性的 AI subreddit 摘要
/r/Singularity, /r/Oobabooga, /r/MachineLearning, /r/OpenAI, /r/ClaudeAI, /r/StableDiffusion, /r/ChatGPT, /r/ChatGPTCoding, /r/aivideo, /r/aivideo
1. Opus 5.5 的遊戲自動化成果
花了 $712 和 39 小時,Opus 5.5 獨自通關《Baldur’s Gate 3》(活動:1145):有用戶表示,Claude Opus 5.5 透過自訂工具框架自主完成了 Baldur’s Gate 3:使用停用內置工具的 claude -p、透過 TCP 連接 Lua BG3 mod 的 Python MCP 伺服器、Vulkan layer 截圖,以及經 SDL 控制的點擊(文章、程式碼)。整次運行耗時 39 小時、花費 $712,經過 99 個全新工作階段、呼叫工具 20,809 次、擷取 862 張截圖、快取輸入 tokens 達 2.2B+,對比輸出 tokens 3.5M,並使用以 Git 管理的記憶系統,累積 157 次提交、約 23k 字精選內容及 67 條提煉出的戰術規則。經審核的 Faith-Leap 重跑耗時 36 分鐘、呼叫工具 674 次、花費 $24,期間死亡一次並重新載入十一回;修正一處隱藏通道洩漏後,重跑只使用馬賽克畫面的截圖。作者計劃把這套工具框架發展成短篇 BG3 情境基準測試,以成功與否、嘗試次數、時間和成本評分;據報 Claude 在 Nautiloid 開場情境的成功率為 9/9,每次約 $1.50/run。Codex/Gemini 整合已準備好,但尚未評估。熱門留言大多認為這個項目昂貴但有潛力:有人稱它是「其中一個最好的基準測試構想」,可用來比較不同供應商的代理;也有人批評這是「花錢多過用腦」。非技術性的玩笑則集中在代理作出的遊戲道德選擇,例如有沒有襲擊林地。
有留言者認為,這次運行或可發展成實用的 代理基準測試:若讓不同競爭模型重複完成《Baldur’s Gate 3》任務,或比許多標準基準測試更能實際比較長期規劃、工具使用和持續執行能力。其技術價值在於統一測試設定,並量度不同模型的成本、完成時間、失敗模式及決策質素。
Claude Opus 5.5 一夜反編譯 PS2 時代遊戲,數百款遊戲現可在瀏覽器分頁執行(活動:2348):一則 Kotaku 報道稱,AI 輔助逆向工程(貼文標題指由 Claude Opus 5.5 完成)已讓多款舊遊戲移植版可在瀏覽器遊玩,例如 Halo: CE、GTA: Vice City、Skate 3 和 The Simpsons: Hit & Run。報道稱部分移植版可完全在瀏覽器內運行,並提出顯著的性能說法,例如 Hit & Run 目標為 240fps,而 Halo: CE 版本支援低延遲線上多人遊戲;不過留言者質疑這些是否真正的反編譯,還是把現有二進制檔/素材重新編譯或重新實作。熱門留言普遍持懷疑態度:有人要求提供真正可玩的瀏覽器連結,並稱貼文是「空洞炫耀」;另一人則指出術語混為一談:「這些不是反編譯……而是重新編譯?」另有留言者推測,當企業把這種做法視為知識產權執法威脅後,強大模型的公開使用權或會受到限制。
有留言者質疑貼文用詞,認為這些項目很可能不是完整反編譯,而是重新編譯/recomp 項目,並指出社群可能混淆兩個概念。這個分別在技術上很重要:反編譯是嘗試還原高階原始碼或等效結構;重新編譯則通常把現有二進制檔/中介表示轉換成新目標,例如可在瀏覽器執行的程式碼。
2. AI 證明與學術勞動
菲爾茲獎得主 Richard Borcherds 談 OpenAI 證明:「我想人們之所以不滿,是因為他們逐漸發現自己很愚蠢,卻不知怎的把這怪到 AI 頭上,儘管這其實不是 AI 的錯」(活動:1309):連結的 Daily Cal 文章報道 UC Berkeley 數學界對一項據稱由 OpenAI 提出的 Navier–Stokes 證明的反應(文章),並把事件視為對數學證明驗證、教學法,以及 AI 系統在進階研究中角色的一次壓力測試。Richard Borcherds 認為,反彈可能反映研究者意識到自己的局限,而非 AI 本身出錯: 「他們逐漸發現自己很愚蠢,卻不知怎的把這怪到 AI 頭上。」熱門留言大多聚焦教育:有人認同只要學生在考試中無法自行展示理解,是否用 AI 做功課並不重要;另一人則指出,Borcherds 認為 AI 教授研究生抽象代數時,或比人類教師更有耐性,也更能清晰表達。
有關 Richard Borcherds 的一段訪談提到,AI 生成數學內容或會產生極長的形式化成果,例如「某個重大猜想的 100,000 行形式化證明」;但他認為這不一定會損害數學學習或研究,因為人類可以選擇不理會機器產生的形式化證明。技術上值得注意的是,形式證明的生成/驗證,與以人為本的理解、動機和理論建構過程並不相同。
有留言引述 Borcherds 的說法,稱 AI 教授 MATH 250A 研究生抽象代數或許比他本人更好,原因是 AI 有耐性、表現一致,亦能不厭其煩地重新解釋內容。這是教育方面的技術觀察:LLM 或可成為密集符號學科的自適應導師,但學生仍須自行解題,才能在考試中掌握內容。
一名物理學家為博士論文花一年及約 500 頁手算研究量子重力;Opus 5.5 卻用 10 小時完成,還找出錯誤。今後學術界的「勞動」會變成怎樣?(活動:1710):連結的儲存庫 eokahya/claude-audits-quantum-gravity 是原共同作者 E. O. Kahya 以 AI 輔助進行的審核,對象是先前關於 de Sitter 空間中無質量、最小耦合純量場之引力子修正的一圈量子重力計算,並非完全自主地重新發現結果。工作流程由人工拆分成 18 項任務/9 個階段;Claude 協調確定性的 SymPy/mpmath 檢查,包括高精度數值抽樣;發現的問題主要是記帳/排版錯漏:印出的裸自質量整體符號慣例有誤、Table X 漏列非解析及解析項、中間步驟有有限數值問題,以及 23 個錯字。主要物理結果據報維持不變:修正後,Schwinger–Keldysh 晚期模函數分析仍未出現例如 ln(a)、ln²(a) 或 a 等增長的一圈項,只有場強重整化常數項及衰減項。熱門留言反駁「Opus 5.5 用 10 小時完成博士論文」這種說法,認為真正困難的科學工作包括原始問題設定、邊界條件、費曼規則和專家提供的框架;AI 主要加快了繁複張量代數的核對。另一場較廣泛的討論把當前學術界比作人類加引擎的棋賽:一種看法認為暫時最強的是 AI 輔助研究者;另一種則預測,全自動系統最終或會超越人類學者,只有提出高價值問題仍由人類佔優。
多位留言者認為標題誇大了工作:E. O. Kahya 是原共同作者,並沒有讓 Claude 從第一原理自主重新推導量子重力結果;他是用 Claude 審核先前的計算。工作流程由人工搭建成 18 項任務、9 個階段的管線,並由專家提供邊界條件;Claude 則協調 SymPy 和 mpmath 等確定性工具,進行張量代數檢查及 30 位數精度的數值驗證。
技術上最重要的結果是,核心物理結論維持不變。據報發現的問題僅限於算術失誤、整體符號/定義翻轉、遺漏一項記帳項目,以及 23 個排版錯誤;留言者指出,這更像是用電腦輔助核查繁複符號計算,而非提出新的物理發現。
留言者指出,Kahya 自己的 README 也列出「仍應由人類專家覆核的內容」等注意事項,並說明數值抽樣的限制。因此,較恰當的技術定位是:AI 為專家設計的理論研究流程提供審核/交叉核對,而非取代提出理論、推導費曼規則或建立物理框架。
3. 代理安全與提示注入風險
提醒:暫時不要把 Gmail 和 Drive 連接到你的 Dots(活動:1225):貼文警告,連接 Gmail/Drive/PC 的 Dots 代理可能會執行透過電郵附件或訊息內文傳入、由攻擊者控制的指令;若代理把這些內容誤當成可信的用戶意圖,便可能外洩個人資料或安裝惡意軟件。留言者指出,這是典型的 提示注入/工具使用安全失誤,影響所有具備外部能力的 任何 LLM 代理,而非 Dots 獨有:自主代理讀取不可信內容時,可能把它轉成可執行指令。主流反應是強烈質疑在尚未具備穩健的權限管理、沙盒及指令邊界防護前,就授予 AI 代理存取本機、電郵或雲端儲存空間的特權。
多位留言者指出,核心風險是具備連接工具的 AI 代理遭遇提示注入,而非 Dots 特有的缺陷。任何獲授權存取 Gmail/Drive 或執行本機操作的 LLM,都可能受不可信內容操控而執行非預期操作;若沒有嚴格的沙盒、權限界線及人工審批,自主存取帳戶便不安全。
我一篇談失控 AI 代理的貼文在這裏有 130 萬瀏覽,之後 Reddit 卻把它刪了,沒有說明原因(活動:1315):這張圖片是非技術性的 Reddit 介面截圖,顯示一篇先前發布於 r/ChatGPT 的貼文被標示為「[已被 Reddit 移除]」,理由是違反內容政策;據報在移除前,它已有約 1.3M 次瀏覽、 1.5K 個讚、 530 則留言,並曾獲版主批准: 圖片。貼文聲稱被移除的內容討論網上運作的「失控」AI 代理研究,NYT 亦有報道;但截圖本身沒有提供代理的技術證據,只顯示平台移除內容而未清楚列明違規規則。留言者的反應帶有陰謀論色彩或持懷疑態度,有人猜測相關代理或機械人可能在壓制討論或操控觀感;另有人認為重新發布本來就是 Reddit 上常見的做法。
來源:Latent Space · latent.space