史丹福研究指44%大型語言模型研究結論在新模型上失效
史丹福大學研究人員重新檢視50項大型語言模型研究結論,發現其中22項(44%)在新模型上已失效。研究分析了8個模型開發者於2024年7月至2026年9月期間發布的20個模型;另有17項(34%)結論顯著減弱,8項持續有效,3項增強。
史丹福大學研究人員重新檢視50項大型語言模型研究結論,發現其中22項(44%)在新模型上已失效。研究分析了8個模型開發者於2024年7月至2026年9月期間發布的20個模型;另有17項(34%)結論顯著減弱,8項持續有效,3項增強。
百度正式開源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),模型總參數為2800億,每個Token實際啟用140億參數。模型以33.5萬億個Token完成預訓練,預訓練上下文最高128K,微調後推理上下文最長支援100萬Token;公佈的測試包括MMLU 93.3分、MMLU-Pro 78.4分。
文章比較雙 RTX 3090、DGX Spark 64GB 與 DGX Spark 128GB 執行 70B 及更大型模型時的記憶體容量和推理速度。
Business Insider 報道稱,由 Mira Murati 創立的 Thinking Machines Lab 正以 400 億美元投前估值籌集 50 億美元。
Zyphra Research 發表 ZYFA,為 AMD Instinct MI355X 提供 FP8 及 BF16 causal prefill attention kernels。
企業在供給過剩時盲目擴張,未必能把規模優勢轉化為盈利;在 AI 時代,產品供給更容易擴大,用戶增長亦可能推高算力成本。瑞幸咖啡2026年前三季度自營門店同店銷售增速依次為-0.1%、-5.3%及-11.1%;蜜雪集團上半年收入增長2.3%,期內利潤下降14.7%。
DeepSeek-R1 以開放權重提供複雜問題推理能力,並透過強化學習及 Mixture-of-Experts 架構提升計算效率。
QuickSilver Pro 於 2026-10-20 以 17 項任務比較三款開放模型與兩款 Claude,兩款 Claude 均於三輪測試中取得 51/51。
Counterfactual Self Architecture(CSA)提出一套架構,以明確的參考資料、介入點和不確定性,呈現人物在不同決策下的可能人生,並讓假設可供審核。其 ICC 證據狀態分為 Preserved、Variable、Unknown 和 Disputed,並要求模型在證據不足時可以拒絕推斷;文章以 Alan Turing 的歷史案例探討這套架構。
Jangwook Kim 分析 verl 中 GRPO 與 vLLM 共用單節點 GPU 時的記憶體配置,並以分階段估算判斷設定是否可行。估算顯示,7B LoRA 在 gpu_memory_utilization=0.6 時的 KV cache 可容納 980 條序列,而 7B 全量微調的更新階段估算為 127.6 GiB,超過單張 80GB GPU。
Physical Intelligence 聯合創辦人謝爾蓋·萊文在訪談中指出,通用機械人發展的核心瓶頸是以可承受的工程成本取得高質素物理交互數據,建立可持續的數據閉環。
Thinking Machines 發佈 Inkling 2 Small;該模型在 Artificial Analysis Intelligence Index v5.0.1 得 31 分,推出時為專有模型,計劃稍後以 Apache 2.0 公開權重,日期未定。
Thinking Machines Lab 發佈 Inkling 2 Small,這款混合專家(MoE)模型共有 594B 參數、啟用 17B,並支援圖像輸入。
NVIDIA 昨日發佈技術解讀,提出以 GPU、CPU、網絡、儲存和軟件的全棧協同設計,應對大模型、長上下文及智能體應用增長帶來的 GPU 記憶體壓力。方案以 NVFP4 壓縮模型權重和 KV cache,並把不活躍上下文移至 CMX 上下文儲存、在重用前取回;智能體工作流部分場景需處理多達 300 萬個 token。
NVIDIA 詳解 AI 記憶體全棧協同設計,稱 Vera Rubin NVL72 相較 GB300 NVL72,在特定 Agent 工作負載下每美元吞吐量最高提升30倍。在每位用戶每秒125個Token的服務速度下,單顆 GPU 的 HBM 容量僅增加約3%。其做法包括以 NVFP4 壓縮模型權重和 KV Cache、分層卸載閒置上下文,並把 RAG 向量索引放到 CPU 記憶體及儲存層級。
英偉達提出以 GPU、CPU、網絡、儲存和軟件全棧協同設計,應對大模型參數、上下文和智能體工作流增長帶來的 HBM 記憶體壓力。其方案以 NVFP4 壓縮模型權重和 KV cache,並把不活躍上下文遷移至 CMX 上下文儲存,讓 RAG 索引留在 CPU 與儲存端。
Jev、Kev、Laya 和 Mammoth-1 四種決策模型,與五個小型 LLM 在相同的 6,662 項決策上進行比較。評估涵蓋準確度、校準、格式失敗、延遲和成本,並公開每次呼叫的資料。
Ripple-65B Preview 混合注意力模型在作者的兩張 RTX 3090 上,提示詞處理達 1,012.80 tok/s、生成為 20.34 tok/s,速度相差約 50 倍。
百度正式開源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),該模型以33.5萬億個Token完成預訓練。模型採用MoE架構,總參數2800億、每個Token激活140億,微調和推理階段最長支援100萬Token上下文。百度已在Hugging Face提供FP8和BF16版本權重;模型尚未經中訓練和後訓練,主要供開發者及企業作後續指令微調、領域適配和強化學習。
文章提出本地 LLM 記憶體估算法,將權重、KV cache 和額外開銷相加,再與設備可供模型使用的記憶體比較。以 Qwen2.5 14B 的 Q4_K_M 為例,總需求約 8.4 Go;KV cache 會隨上下文長度線性增加,4K 約 768 Mio,32K 則為 6 Gio。
作者比較多款模型的 AA-Omniscience 幻覺率,並以一題無法按題述條件完成的 Python 問題測試 DeepSeek V4 Pro 和 GLM-5.2,指出模型規模不等於可靠度。
Cloudflare 將 AI 程式碼審查的單次推理成本由高峯期 $2.43 降至 $0.77,減少 68%,中位審查時間亦由 4 分鐘 9 秒縮短至 1 分鐘 32 秒。
推薦理由:文章拆解快取、模型選擇與無效呼叫對單次審查成本的影響,並展示品質評估如何找出降本後退步的審查器,整理出可複用的優化與驗證方法。
Dwarkesh Patel 建立 Blood on the Clocktower 基準測試,讓不同 AI 模型對戰,以觀察其欺騙、團隊協作和推理能力。他投入約 $20,000 的 API 額度建立測試環境,並以 386 場由同一模型組成隊伍的對局排名;GPT-6 Astra 比 Claude Opus 4.6 高約 430 Elo,對戰勝率約 92%。
作者以 Amazon Bedrock 的模型呼叫和 FinOps 智能體示範,説明估算任務成本不能只看單次呼叫,還要計入智能體循環中累積的上下文及執行資源。同一句文字在 Claude Sonnet 4.6、Sonnet 5 和 Sonnet 5.5 的記錄分別有 32、40 和 42 個輸入 tokens;另一項任務則經過五次模型呼叫,累積 16,223 個輸入 tokens。
SemiAnalysis 發佈 TPUv7 四款模型的 AgentX 長上下文、多輪推理結果,顯示其面向外部客戶的每美元效能具競爭力,部分配置領先 GPU 加速器。
HAL-X 發佈 THX-02,這款 4.5B 參數決策模型的權重、運行環境和伺服器採用 Apache-2.0 授權,並提供免費 API。THX-02 在 Decision Index 0.3 得分 65.06,高於最佳 27B 決策模型的 62.25;評測使用分層抽取的 6,018 個請求,競品數字引用其公開指數,並非重新測試。
研究顯示,Weight-Space Programming(WSP)可透過局部修改神經網絡參數提升推理表現,但跨任務泛化和編輯可靠性並不穩定。研究涵蓋七個基準及 Qwen3.5-0.8B、Qwen3.5-9B;只修改 1,023 個參數,MATH-500 準確率便提升 29.45 個百分點。16 條編輯軌跡中有六條保留原有權重,反映可靠驗證仍具挑戰。
BitDecoding-FP4 提出結合 FP4 量化與系統優化的原生 KV 解碼方案,目標是在 LLM 長上下文服務中兼顧準確度與吞吐量。在涵蓋 dense、MoE、GQA 和 MLA 的模型測試中,使用 NVFP4 時準確度與 BF16 KV 相差不超過 0.5 分,使用 MXFP4 時不超過 1 分。
RidgeFill以免訓練的後段層快取填充縮短大型語言模型的提示詞預填充時間,從指定分割層狀態預測後續各層輸入;映射以單次校準文本擬合,不丟棄 token。
CPU-ARC 提出智能體推理快取方法,從 LLM 推理軌跡構建可在 CPU 執行的快取,讓已推理任務的解法可高效套用至新問題。在多項具挑戰性的數學及科學任務中,快取的表現與前沿 LLM 相當,並具可解釋、可持續訓練及抵抗輸入擾動等特點;調用成本比來源模型低 16-291x。
SIRIS 是一項基準測試,旨在評估 LLM 能否判斷模擬器的限制是否會令系統設計建議失效。研究評估了 13 個前沿 LLM 在 LLM 服務設計問題上的表現,發現辨識出限制不代表能作出正確選擇,最強模型有時也會推翻有效建議。加入覆核回合有助模型恢復有效選擇,但也令部分模型出現新錯誤。
Energy-Based Reasoners(EBRs)以能量函數及其梯度引導循環式潛在推理狀態更新,並提供停止訊號。在四項算法推理基準中,EBRs 的表現媲美或優於先前的循環式推理模型,在 Sudoku-Extreme 達到 99.9% 準確率,所用推理計算量比次佳模型少 345 倍。在所有多解基準中,EBRs 均達到最先進的不同有效解覆蓋率,同時維持接近 100% 的單次樣本準確率。
這項研究提出單模型路由器 PISA,以及可按提示詞調整組成和規模的集成路由器 PISA-E,後者毋須專門的集成訓練。兩者在四個路由基準的分佈內及分佈外設定下接受評估;PISA-E 在優先考慮品質時,集成任務表現的宏平均最高。相較最強的競爭集成方案,PISA-E 亦提供平均推理成本約低 36%(ID)及 25%(OOD)的運作選項。
Stanford 團隊於 10 月 9 日發表 Next-Concept Modeling(NCM),以由粗至細的代碼層級表示文字,逐層平行預測代碼,而非逐個 token 由左至右生成。
百度發佈 ERNIE-5.5-Flash-Base 開放基礎模型,刻意不附帶微調或後訓練,交由開發者自行決定後續用途。模型採混合專家架構,總參數量為 280 billion,每次輸入啟用 14 billion 個參數;預訓練使用 33.5 trillion tokens,訓練上下文長度最高 128,000 tokens。
Nanbeige 發佈開放權重推理模型 Nanbeige4.3-33B,在 Artificial Analysis Intelligence Index v5 得分 20,與 Qwen3.8 27B(xhigh)相同。
Runway 發表研究,拆解 Characters 如何為約 57B 參數的影片擴散 Transformer 提供即時對話服務。在四張 H100 上,優化把每步耗時由 240.9ms 降至 159.3ms(24.5 fps),加入融合 kernel 後進一步降至 147.4ms。
《System Design, Plainly》第 1 篇解説負載平衡,梳理 DNS/Anycast、L4 和 L7 三層路由,以及各層如何把請求送往後端伺服器。
百度發佈 ERNIE 5.5 Flash Base,這款稀疏 MoE 基礎模型共有 280B 參數,每個 token 啟用 14B 參數。模型由零開始以 33.5T tokens 預訓練,訓練上下文最高為 128K,微調及推理支援 1M-token 上下文;釋出的 checkpoint 未經中期訓練或後訓練。
Kimi K3.1 Pro 隨附的評測表顯示,在與 Claude Opus 5.5 均有分數的 39 項中,Kimi 取得 19 勝、20 負;在 44 項高分為佳的項目中,則有 16 項為六款模型最佳。作者另核對 1,561.29 GB 權重檔、2.8T 參數設定及自訂授權,指出授權包含商用限制,因此「開放權重」比「開源」準確。