天數智芯天垓300實測對標H200,國產GPU接下來比甚麼?
天數智芯稱,天垓300在典型PD分離部署下的折算單卡端到端吞吐達H200的1.05倍,並在GLM-5.3 64K長上下文場景的MoE吞吐達1.15倍。文章亦介紹天垓300與合作廠商XPU組成的AFD分離方案,所展示案例的Decode推理延遲降低60%;Agent部署演示則將服務部署時間由約一小時縮短至約20分鐘。
天數智芯稱,天垓300在典型PD分離部署下的折算單卡端到端吞吐達H200的1.05倍,並在GLM-5.3 64K長上下文場景的MoE吞吐達1.15倍。文章亦介紹天垓300與合作廠商XPU組成的AFD分離方案,所展示案例的Decode推理延遲降低60%;Agent部署演示則將服務部署時間由約一小時縮短至約20分鐘。
Kimi半年內第三次就K3.1 Pro會員使用問題道歉,承認用戶遇到限流及不必要的額度消耗,並向訂閲會員提供月度總額25%的額度重置;用量不足25%的則歸零重算。
EleutherAI 研究以 reasoning interpolation 配合重要性抽樣,監測模型訓練期間獎勵破解的早期訊號。在其實驗設定中,重要性抽樣早期將破解機率低估 2–5 個數量級,但估算趨勢對預測最終會出現哪些破解類型達到 perfect AUC。研究使用 SFT 而非實際 RL 訓練,且預測設定較容易,作者指出仍需在實際 RL 訓練中驗證。
InfoQ 的 2026 年 AI、ML 與數據工程趨勢報告更新技術採用階段圖,並整理本年度趨勢及未來 12 個月的觀察。報告指出,語言模型發展由大型模型轉向小型語言模型,推理模型興起,Agent 亦由個人用途擴展至團隊和整個組織;推理、AI 評測及 Physical AI 是重點趨勢。
邊緣 AI 或為電信業者帶來參與 AI 推理基礎設施的機會;部分工作負載可能因延遲、數據重力和成本而移至邊緣。文章將邊緣分為都會邊緣、遠端邊緣及終端等層級,並指出塔台或基站部署 GPU 面對電力、散熱和空間限制。IDC 研究顯示延遲只在部分情況下是關鍵,工作負載類型更能決定部署位置;AI-RAN 亦可改善網絡效能、降低成本和提升營運效率。
論文提出免訓練方法 AB-Attention,以高稀疏度近似影片擴散 Transformer 的密集註意力,降低注意力計算量。在 Wan2.1 和 HunyuanVideo 上,它跳過 89–92% 的注意力,較最強基線提升 PSNR 至多 4.4 dB,端到端加速最高達 2.23 倍。
Google Research提出 Sleep Framework,讓大語言模型透過清醒與睡眠階段持續學習新資訊,並整合記憶以避免遺忘舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降。框架在 AIME 24/25 等數學基準上取得更高準確率。
軟件形式化驗證公司 &Truth 公佈獲得 $70M 種子輪融資,並計劃建造可讀取任何程式語言程式碼的通用驗證機。公司稱,該技術以 Lean、Mathlib 等開源工具為基礎,目標是透過可獨立檢查的數學證明驗證程式碼。公司表示,AI 可令形式化證明工作加速 100x 或以上,其自動化技術再加速 100x,將證明生成時間由數年或數月縮短至數小時或數分鐘。
開發者 Divyansh Agrawal 發佈實驗性模型 Qwenputer,基於 Qwen3.5-4B,將 32 位 RISC-V CPU 和記憶體功能整合至神經網絡內部,讓模型無需調用 Python 等外部工具也能執行程序及精確計算。
TrendForce 預計,高容 MLCC 供應缺口將延續至2027年上半年,AI 推理及智能體應用帶動相關需求上升。消費級中低容 MLCC 現貨價於10月上旬下跌約5%,高端規格仍然吃緊,但漲幅開始收斂。Murata 表示將提前擴產,但新產能最快要到2028年後才能釋出。
開發者 Divyansh Agrawal 發佈 Qwenputer,將 32 位 RISC-V CPU 與記憶體功能整合進 Qwen3.5-4B,讓模型無需外部工具即可執行程序和精確計算。
10月27日,谷歌研究團隊提出持續學習新方法「睡眠框架」,旨在解決大語言模型部署後知識難以更新及容易出現災難性遺忘的問題。框架模擬睡眠中的記憶鞏固機制,在「清醒」階段處理輸入並暫存短期記憶,在「睡眠」階段整合資訊、擴展參數、蒸餾知識,並以生成式「做夢」強化推理能力。實驗顯示,模型在1000萬token長上下文及多階段持續學習中保持性能穩定,數學推理等任務的準確率有所提升。
Google 研究團隊提出持續學習研究「睡眠框架」(Sleep Framework),讓大語言模型吸收新資訊時保留舊知識。框架把模型運作分為清醒和睡眠階段,透過記憶整合及合成訓練樣本提升自我改進能力。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的表現下降;在 AIME 24/25 數學基準上的準確率亦高於多種基線方法。
DeepSeek 與 OpenAI 的推理模型競爭,體現在 DeepSeek R1 的開源、模組化設計,以及 OpenAI o1 的通用能力與規模。DeepSeek R1 在 AIME 2024、MATH-500 和 SWE-bench 分別取得 79.8%、97.3% 和 49.2%,略高於 OpenAI o1;在 MMLU 則以 90.8% 略低於 o1 的 91.8%。
Ahmad Dogar 分享降低 LLM 功能推理成本與延遲的實作方法,並以 Anthropic TypeScript SDK 示範如何逐步處理而不降低功能品質。
Hugging Face 宣佈推出 AnySpeechRecognizer 和 AnyDecisionModel 兩款 Swift 套件,分別讓語音辨識切換不同引擎,並以模型概率輸出決策結果。
Google 發佈 Gemini 4 Carbon,主打長期任務的編碼及推理能力,並稱其在網絡安全漏洞檢測、驗證及修復方面取得顯著進展。據 Google 公佈的評測,Carbon 在 AI 分析指數 v5.0 得 59 分排名第一,並在 SEC-bench Pro、ExploitGym 和 CWE-bench 分別取得 88.2%、54.8% 和 71%。
Akamai 推出 Akamai Inference 和 Akamai Agent Sandbox 的測試版,分別用於在 Akamai Cloud 部署 AI 模型,以及在隔離環境執行 AI 智能體生成的程式碼。
阿里巴巴於 2026 年 8 月發布 Qwen3.8 系列,並開放 Qwen3.8-Max 旗艦模型權重,總參數為 2.4 萬億。Qwen3.8-Max 採稀疏 MoE 架構,每次推理約啟用 950 億參數,支援 100 萬 Token 上下文及原生多模態輸入。
SanDisk 表示,AI 推理正在重塑 NAND 閃存供需,客戶普遍低估 AI 基礎設施所需的 NAND 容量,NBM 訂單已延伸至 2030 年甚至更遠。2027 財年約 50% 的位元出貨已由 NBM 協議鎖定,2028 財年預計升至約三分之二;首款 HBF 存儲晶粒已完成流片並進入製造階段,樣品計劃於下一個日曆年交付。
SanDisk 表示,AI 推理正重塑 NAND 快閃記憶體市場供需,客戶低估 AI 基礎設施所需容量,長期訂單已延伸至 2030 年及更遠。按儲存容量計,2027 財政年度約 50% 的 NAND 位元出貨量已由 NBM 協議鎖定,2028 財政年度預計約三分之二。首款高頻寬快閃記憶體(HBF)晶粒已完成流片並進入製造階段,首批樣品計劃於下一個曆年交付。
tinyworldformer 在 Raspberry Pi Pico 2 W 上以世界模型預測遊戲下一畫面和獎勵,再由另一個神經網絡根據生成畫面選擇動作,形成遊玩閉環。
Gemini 4 Carbon 的首輪評測顯示,它在 3D 場景生成和空間理解方面表現突出,但在講解及科研程式測試中並非全面領先。它在 AA 榜單列第一、Arena 智能體榜和 Vals 均列第二;FrontierCS 2 的 48 道科研程式題中通過 25 道,比 Claude Opus 5.5 少 3 道。
Zyphra公佈ZAYA1,並稱其為首個完全在整合式AMD平台上訓練的大型混合專家(MoE)基礎模型。Zyphra與AMD、IBM合作,使用AMD Instinct MI300X GPU及ROCm軟件堆疊訓練,IBM Cloud集羣提供基礎設施。
Zyphra 發佈 ZAYA1-8B,一款活躍參數少於 10 億、在數學、編碼及複雜推理任務上可與大型模型競爭的 MoE 語言模型。ZAYA1-8B 完全使用 AMD 硬件預訓練,採用 1,024 張 MI300X GPU;Zyphra 同時推出 Markovian RSA,結合平行軌跡生成與固定長度上下文分塊,以維持固定記憶體成本並支援無上限推理。
OpenAI 稱其 AI 模型反駁指數時間假設(ETH),相關成果以 Lean 驗證,並提出可更有效率地找到滿足所有規則解法的方法。麻省理工學院電腦科學家 Ryan Williams 主導對成果的解讀、驗證及對外發布,並招募 ETH 提出者參與。團隊計劃製作完整可讀的證明,年底前舉行虛擬評審會議,並於 2027 年舉行線下會議;報道稱,反駁 ETH 是朝解決 P 與 NP 問題邁出的重要一步。
Baseten 發佈 Base Labs 開發的 2B 決策模型 joey-1,模型輸出標籤及校準概率而非生成文字,面向高流量路由、分類和安全護欄檢查。
DAMI 為 GDN、GDN2、KDA、Mamba-2 和 RWKV-7 提出雙軸記憶初始化方法,聯合設定控制衰減係數的 A_log 與 dt_bias 初始值。100M 參數、5B tokens 的預訓練實驗中,五種架構的 RULER 檢索準確率平均較隨機初始化高 5.29–16.71,整體能力基本不變。這種方法無需增加參數或更改運算子,也不影響推理。
LARC 為統一多模態模型引入連續空間潛在推理,改善圖像生成質素,並支援測試時擴展,避免離散 token 瓶頸。其訓練分兩階段:課程式監督微調,以及資訊增益強化學習;後者無需真值監督。LARC 在 GenEval 上取得最先進表現,較 BAGEL 提升 7%p,並在平行及循序測試時擴展策略下,展現優於基於 token 生成的表現。
研究比較信心指標 SC 與結合全局熵變化和局部平滑度的 UID-Conj.,評估輔助軌跡偏好對小型語言模型自我改進及遷移的作用。Qwen3-1.7B 在 30 道 AIME 題目上的在線實驗中,UID-Conj. 較未修改的 TTRL 在適應基準及三個遷移基準的宏平均高 2.08 個百分點;離線加權 SFT 中則較均勻加權高 1.93 個百分點。
BYOD研究展示將 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 轉為雙向遮罩擴散語言模型的方法。
WMIP 是一套以程式計算答案、用於測試大語言模型累積狀態追蹤能力的探針,涵蓋 3 至 100 次更新及不同查詢和輸出協議。18 個模型在單步算術的準確率為 84.9%,但在需處理三至七次更新的核心項目上只有 31.7%;更新達 50 次後,沒有模型的準確率超過 10%。加入書寫步驟並要求答案置於末行後,核心準確率升至 88.0%,研究亦公開生成器、測試項目、評分程式碼及模型回應。
文章整理 GPT-4o 系列在 OpenAI API、Azure OpenAI 和 ChatGPT 的退役時程、替代型號及遷移檢查流程。
推薦理由:文章把不同平台的退役日期與替代型號整理成遷移依據,並列出重複評測、影子測試及分階段流量切換的順序,提醒逐項驗證工具呼叫與結構化輸出。
FuriosaAI 完成 $620m D 輪融資,估值約 $2.9bn,南韓國家成長基金投資 $280m,成為最大投資者。其第二代晶片 RNGD 已於 1 月進入量產;公司稱已 확보記憶體及工廠產能,可於 2027 年生產超過 40,000 枚。融資將用於增加 RNGD 產量、改進軟件,並與 Broadcom 等合作夥伴開發採用 2nm、多晶粒設計及 HBM4 記憶體的第三代晶片。
Baseten 發佈 joey-1 決策模型,以單一 token 和信心分數直接輸出判斷。平均 2,000-token 請求的 P50 端到端延遲為 20 ms,較 elephant-1 的 49 ms 快約 2.5 倍;每百萬 tokens 收費 $0.01,為 mammoth-1 的十分之一。
研究團隊與 Booking.com 結合知識蒸餾(KD)和 Medusa,優化旅遊服務使用的語言模型,以改善推理速度和成本效益。以 TinyLlama(1.1 billion parameters)作為學生模型、Llama-3.1(70 billion parameters)作為教師模型,最終模型達到教師模型的品質,速度提升 10 至 20 倍,成本低於三分之一。
作者記錄閲讀並內化 HexQ 核心架構的過程,內容包括零元引擎的認知閉環、19683 卦空間、九維金融決策引擎及 23 條守恆律。作者以億緯鋰能 120 根日線作實戰分析,因體與用相矛盾而判定為振盪模式,並提出把 HexQ 納入股票分析流程及實現後台自主呼吸。
Mistral AI 於 2026 年 10 月 29 日發佈 Mistral Large 4 權重,這款 1-trillion-parameter 原生多模態模型可在 Hugging Face 下載作自託管,亦可透過 API 及合作平台使用。
推薦理由:文章並列權重授權限制、API 定價與編碼基準成績,方便對照 Mistral Large 4 的商用部署條件和官方公佈表現。
Mistral 開放 Mistral Large 4(「Le Chonk」)權重,企業可在自有硬件及防火牆內運行模型,避免敏感數據暴露予雲端或外部第三方。模型有 1 trillion parameters 和 52 billion active parameters,原生支援多模態,並經過額外三週強化訓練及客戶測試。
Next-Concept Modeling(NCM)探索不同於傳統 LLM 逐個預測下一個 token 的文字生成方式,改為由粗至細生成層級表示,並在每一層進行平行預測。文章探討 NCM 的核心架構、生成流程、潛在效能優勢,以及超越逐 token 生成方式所面對的挑戰。