DepthGraft 如何透過階層式 KV sharing 減少 Transformer 記憶體用量
DepthGraft 讓後續層重用較早層的 KV pairs,將 KV cache 用量減少約三分之一,同時維持甚至提升下游表現。在 16 B Mixture-of-Experts 模型上,MMLU-Pro 提升 7.0%(絕對值),CMMLU 和 C3 分別提升 6.6% 和 6.4%。
DepthGraft 讓後續層重用較早層的 KV pairs,將 KV cache 用量減少約三分之一,同時維持甚至提升下游表現。在 16 B Mixture-of-Experts 模型上,MMLU-Pro 提升 7.0%(絕對值),CMMLU 和 C3 分別提升 6.6% 和 6.4%。
OpenAI 發佈 GPT-6.2 Astra 和 GPT-6.2 Sol,作者實測認為 Astra 能力偏科,科研與程式碼審查較強,方案規劃和影片創作較弱。在作者自建的程式碼審查測試中,Astra 找出 96% 問題,Sol 為 84%,GPT-6.1 Sol 為 65%;Astra 在 Agents' Last Exam 約得 78%,每項任務約 3 美元。
Jason Wei 加盟 AI 初創公司 Mercor,出任首席科學家,並將協助建立研究團隊,推進數據與評測研究。Mercor 於 11 月 10 日宣佈完成 7.5 億美元 D 輪融資,估值達 200 億美元,並正加碼模型評測、後訓練及讓 AI 智能體學習複雜工作流程的環境。
Shalendra Gaur 的測試顯示,主機端保存狀態並每步向模型提供精確狀態,可令 7B 模型跑 20,000 步時,每步耗時由 0.1605 s 增至 0.1651 s。
阿里雲開發者社區的文章解析通義千問 Qwen4-Max,整理其多模態能力、功能支援、收費及 API 接入範例。文中列出輸入 ¥10 /M tokens、輸出 ¥30 /M tokens,並稱阿里雲百煉提供免費 100萬 Tokens 試用。文章亦提供 Python、Node.js 及 cURL 的呼叫範例,並稱模型兼容 OpenAI 與 Anthropic API。
香港大學團隊提出 A-GRAE,以「隱式優勢對稱性」統一解釋 GRPO 在探索能力和難度適應上的瓶頸。A-GRAE 無需增加額外計算成本,並在涵蓋文本數學推理和多模態推理的 7 個基準上提升表現;在 AIME2025 上,DAPO+A-GRAE 的平均表現為 53.3%,高於 DAPO 的 52.2%。論文獲 NeurIPS 2026 錄用,程式碼已開源。
Nvidia Q4 毛利率指引為 71%–72%,較本季 74.9% 低約 3 個百分點,公司將原因歸於 Vera Rubin 架構初期擴產成本。文章把成本拆分為良率爬坡、HBM4、液冷與電力改造,以及部署規模尚未擴大;Nvidia 所稱每百萬 tokens 推理成本降至 Blackwell GB200 NVL72 的十分之一,尚無獨立驗證。
Hugging Face 把 160 個語言模型的推理路由改由 OpenRouter 接手,請求失敗時會在同一呼叫內改試下一間供應商。OpenRouter 2026 年 10 月實測中,容量錯誤減少 46%、首字延遲改善 16.9%、吞吐量提升 16.3%,每次請求成本則高 6.0%。
推薦理由:文章並列路由實測的速度、可靠性與成本變化,並界定自備供應商 API key 不再適用的範圍,方便團隊評估帳單與接入方式。
研究發現,讓大型語言模型在不使用梯度訓練下編寫權重時,會設計稀疏表格或聯想記憶模型,而非 Transformer。三個前沿 LLM 設計的模型測試準確率最高達 54.4%;其中一個模型的參數量約少 1,800x,準確率仍高於同一 LLM 編寫的最準確已發布 Transformer,聯想記憶模型在 GPU 上則快達 17x。預訓練 LLM 的準確率仍較高。
生命模型智能公司觀壹智能(OneX Intelligence)宣佈完成首輪數億元融資,由IDG資本領投,創世夥伴創投(CCV)、澐柏資本、交大菡源資產及雲啟資本跟投。資金將主要用於生命智能基礎模型研發、濕實驗平台建設和產業合作驗證。謝偉迪於10月31日在2026世界頂尖科學家論壇獲頒首屆「青年科學家獎」,是全球六位得獎者之一。
AMD 已完成對專用 AI 推理晶片開發商 Taalas 的收購,並計劃將其技術整合至加速器路線圖。AMD 計劃結合 Instinct GPU,共同開發系統級解決方案。Taalas 的方案把 AI 模型固化到 ASIC 上,針對特定模型工作負載進行優化;這會降低晶片的通用性,但可顯著提升推理效率。
AMD 宣佈完成對專用 AI 推理晶片開發商 Taalas 的收購,並計劃將其技術整合至加速器路線圖。AMD 計劃結合 Instinct GPU,共同開發系統級解決方案。Taalas 將 AI 模型固化至 ASIC,針對特定模型工作負載優化,降低了芯片通用性,但可顯著提升推理效率。
PostHog 分享使用決策模型篩選大語言模型呼叫、路由模型及處理簡單判斷的實踐,並指出閾值須按任務和模型設定。在 Replay Vision 的個人資料清理流程中,98.7% 的摘要毋須呼叫 Gemini;決策模型重排搜尋結果後,20 個測試查詢的排序品質提升約 25%。決策模型最多可比前沿模型便宜 444.6 倍、快 193.6 倍;複雜或多步推理仍適合交由大語言模型,閾值則應按錯誤成本設定。
OpenAI 正式推出 GPT-6.2 Astra 和 GPT-6.2 Sol,分別提升複雜專業任務,以及日常工作、編程和多步驟智能體任務的效率。Artificial Analysis 榜單中,Astra 得 62 分、排名全球第二,Sol 得 57 分;Astra API 輸入及輸出價格均下調 20%,快取輸入價格下調 60%。
推薦理由:文章並列 GPT-6.2 在專業任務、成本與基準測試上的變化,也交代幻覺率和網絡安全限制,呈現能力提升與使用邊界。
Microsoft AI 發佈七款涵蓋推理、編碼、圖像、轉錄及語音能力的 MAI 模型,並推出 Frontier Tuning 以配合機構工作流程調整模型。模型可透過 Foundry、OpenRouter、Fireworks 和 Baseten 使用,開發者亦可自行調整權重;Frontier Tuning 透過受控環境中的實際工作軌跡進行強化學習,並讓機構資料留在客戶環境。
加州理工學院數學教授倪毅表示,因難以判斷學生的家課是否由 AI 完成,他已改為只按有否交功課評分。另有外國媒體指聊天機械人的數學推理達研究生級數,但未交代涉及的模型或測試。加州理工據報沒有統一評核指引,部分課程則降低功課比重、提高現場考試的重要性。
作者以 whisper.cpp v1.9.5 在四種硬件配置測試同一段錄音,medium 在兩款 CPU 上較快;large-v3-turbo 在 CUDA 上較快,在 Intel iGPU 的總耗時則與 medium 相差 15ms。
微軟推出決策 AI 模型 Microsoft-Decision-1.1,已在 Microsoft Foundry、OpenRouter 和 Vercel 上線,面向企業軟件中的路由、分類及工作流控制等高頻決策場景。
AWS 為 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo 託管支援,涵蓋多節點部署、分離式 prefill 與 decode 推理。
推薦理由:文章對照兩種部署路徑,並以 Qwen3-235B 基準呈現分離式 prefill 與 decode 在指定服務門檻下,最高吞吐量達聚合式的 2.05×。
Microsoft 於 2026年11月17日推出決策專用 AI 模型 Microsoft-Decision-1.1,支援多模態與低成本推理,並已在 Foundry、OpenRouter 及 Vercel 上線。
Split-and-Scale 透過在推理階段將場景劃分為更小區域,擴展 3D 潛在表徵容量,同時讓訓練成本維持在可行範圍。實驗顯示,其重建品質可媲美超出單張 GPU 記憶體限制的大型模型。該方法亦支援高品質生成建模,所訓練的自回歸 3D 生成器表現媲美最先進基準模型。
Microsoft 於 11 月 17 日推出決策 AI 模型 Microsoft-Decision-1.1,現已在 Microsoft Foundry、OpenRouter 和 Vercel 上線。
NVIDIA公佈2027財年第三季度業績,季度收入達1158.44億美元,同比增長103%,高於公司指引中值及市場預期。數據中心收入為1076億美元,佔總收入約93%;公司預計第四季度收入達1300億美元,但毛利率將降至71%—72%。文章分析,Agent 推理可能提高客戶對記憶體與儲存的重視,令 NVIDIA 高價算力方案承受成本壓力;本季截至10月25日,早於黃仁勳離任。
推薦理由:文章由季度業績切入,拆解 Agent 推理對記憶體、儲存與算力成本的不同要求,呈現 NVIDIA 平台優勢面對的壓力。
OpenAI 發佈 GPT-6.2 Astra 和 GPT-6.2 Sol,分別定位為面向複雜項目的旗艦模型及面向日常工作的高效率模型。
推薦理由:兩款模型的分工、成本與評測數據提供了比較基礎,而長任務停滯和障礙省略等反饋,則呈現基準分數以外的使用風險。
OpenAI 發佈 GPT-6.2 Astra 和 GPT-6.2 Sol,分別面向複雜專業工作及日常任務,兩者均已在 OpenAI API 上線。Astra 每 1M tokens 的輸入/輸出價格為 $8.00/$40.00,較 GPT-6 Astra 低 20%;兩款模型均有 1,050,000-token 上下文窗口及 128,000 最大輸出。
推薦理由:文章並列 Astra 的降價與基準排名,以及 Sol 以約五分之一成本接近 Astra 的編碼成績、Coding Agent Index 下跌 3 分,呈現兩款模型的取捨。
NVIDIA 公佈截至 2026 年 10 月 25 日的第三季收入為 $115.8 billion,按季增長 20%、按年增長 103%。資料中心收入為 $107.6 billion,按季增長 21%、按年增長 110%。公司預計 2027 財政年度第四季收入為 $130.0 billion,正負 3%,並未將中國資料中心運算收入納入預測。
推薦理由:NVIDIA 第三季收入按年增長 103%,資料中心收入為 $107.6 billion;下一季 $130.0 billion 的收入指引,呈現公司對短期增長的預期。
Nodus 的文章比較每百萬 tokens 的模型推理費用,並以 20 輪智能體工作階段示範如何估算實際成本。小型及開放模型 API 的輸入價格約為 $0.09 至 $0.15、輸出價格為 $0.18 至 $0.60;中階及前沿模型的輸入價格為 $2 至 $8、輸出價格為 $10 至 $40。
Amazon Web Services 為 Amazon SageMaker AI 即時端點推出 KV cache 感知路由,根據模型容器回報的快取狀態分配請求。
OpenAI 發佈 GPT-6.2 Astra 和 GPT-6.2 Sol,分別面向專業工作與日常用途,並稱兩者基準測試成績均勝過前代。
推薦理由:多家第三方評測呈現不同側面,Astra 在科學與成本效益項目表現突出,但編碼成績停滯,法律測試亦顯示其表現較弱。
Nvidia 在 SC26 宣佈 Nemotron for Science、Vera CPU rack-scale 平台、Rubin HPC、CUDA-X 函式庫及量子計算整合等項目,作者將其視為面向科研智能體的運算堆疊。
Microsoft 推出 Decision-1.1、MAI-Code-2 等自家模型,並更新 Foundry 的代理評估與持續改進功能。Foundry 透過內部評估建立品質、安全、延遲及成本基準,並把專家對代理執行軌跡的評註和優化測試納入改進循環;人工標註目前處於預覽階段。
GPT-6.2 Astra 的評測指出,模型難以辨識自身知識盲點,輸出內容亦很難理解。處理長任務時,它會反覆兜圈,使用體驗令人沮喪。
Zyphra Research 將 ZHA 應用於 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 和 MiMo-V2.6-Pro,測試次二次方注意力在不同規模模型上的表現。
Cerebras 在 Cerebras Inference Cloud 將推理解耦部署投入生產,由 AMD Instinct GPU 處理提示詞,並由 CS-3 系統生成回應。
這篇 Gemini 4 模型比較建議先從 Hydrogen 開始,只有在它未能通過自訂測試時才考慮改用 Argon 或 Carbon。
推薦理由:文章並列三款模型的定價、能力定位、限制與工作負載建議,並用月度用量試算成本,呈現選型時價格與任務需求的取捨。
Gemini 4 Hydrogen 在 Artificial Analysis Intelligence Index 的預設 high 思考層級得分為 51,高於 Argon 的 50,xhigh 得分為 54。
推薦理由:文章把 Gemini 4 Hydrogen 的分項基準、思考層級與任務成本並置,呈現綜合指數背後的工作類型取捨及路由判斷依據。
OpenAI 發佈更新版 Astra for Law,這項基於 GPT‑6.2 Astra 的法律模型配置現可供所有 ChatGPT Enterprise 客戶透過 Trusted Access Program 申請,亦可申請 API 存取。
推薦理由:材料並列 LAB-AA 與 Vals AI 的基準數據及法律搜尋索引變化,可從任務滿分率和資料覆蓋兩方面瞭解此次更新。
Cerebras 推出分離式推理方案,由 GPU 處理提示詞(prefill),Cerebras 系統負責生成回應(decode),提升每兆瓦推理吞吐量。在 Cerebras Inference Cloud 的生產部署中,AMD Instinct GPU 處理提示詞、Cerebras CS-3 生成回應,吞吐量達到僅使用 CS-3 配置的 5 倍,token 生成速度沒有下降。
OpenTSLM-Flamingo 現已可在 Amazon SageMaker JumpStart 部署,文章示範如何以數值時間序列和文字上下文進行推理。
AWS 宣佈 OpenTSLM-Flamingo Gemma 3 4B 已在 Amazon SageMaker JumpStart 提供,客戶可將模型部署至自有 AWS 環境的即時推理端點。