PACT 跨模型預填充至自回歸遷移的機遇與挑戰
研究提出 PLatour,以直接透過強化學習訓練的輕量線性橋接器連接凍結模型,讓大型模型處理提示詞,再由小型模型獨立生成回應。使用 35B sender 時,PLatour 在共同數學及編碼基準上的結果超越 Mostik AI 公佈的 753B sender 結果,但訓練設定可能不同。
研究提出 PLatour,以直接透過強化學習訓練的輕量線性橋接器連接凍結模型,讓大型模型處理提示詞,再由小型模型獨立生成回應。使用 35B sender 時,PLatour 在共同數學及編碼基準上的結果超越 Mostik AI 公佈的 753B sender 結果,但訓練設定可能不同。
Modal 公開 Coding Agent 推理優化實踐,基於 Kimi K2.6、SGLang 和 B200,單用戶 Decode 提升約 2.8 倍,單個模型服務實例吞吐提升約 5.6 倍。
騰訊混元發佈最新一代大語言模型 Hy4 正式版,新增視覺能力及電腦操作支援,並稱整體模型能力較 Hy4 preview 再提升。Hy4 擴大預訓練和後訓練規模,提升指令遵循、長文理解、長程任務及深度研究能力,並針對 Blender、CAD 等專業軟件和跨應用長程任務進行專項訓練。官方表示,Hy4 將於近期開源模型權重並發佈模型系統卡片,亦會關注網絡及生物安全等風險。
VIDRAFT POCKET 是一系列採用 GGUF 格式的稀疏 MoE 大語言模型,設計供消費級硬件運行,包括 8 GB VRAM 手提電腦及純 CPU 電腦。
DeepMem 提出因果多尺度 byte-level 架構,利用可逆子帶轉換、無損載體及快速權重記憶壓縮序列,並以注意力超解碼恢復 byte 級表示。相比匹配的 byte-level Transformer,DeepMem 在 FineWeb-Edu 和 PG19 的語言建模表現更佳,亦在受測 FLORES 語言中取得最高宏平均表現。
Sarvam AI 發佈以 Sarvam 105B 微調而成的 Prism System 1 決策模型,稱模型可在 44 毫秒內回應,三項基準平均得分為 71.8。
NVIDIA、UT Austin 等機構的研究人員提出 Realtime-Bench,評測 12 款前沿模型在持續變化環境中的即時互動能力;GPT-6-Astra 的任務成功率最高為 44%。
Anthropic 的 FlashProve 是一個開源研究原型,透過加密證明核實 API 回覆是否由指定模型產生。提供者的 GPU 會為每次回覆生成證明,驗證該模型確實輸出了那些 token;用戶可用普通 CPU 驗證,無須 GPU 或取得模型權重。
騰訊混元正式發佈新一代大語言模型 Hy4;相較 Hy4 Preview,新模型擴大預訓練和後訓練規模,並首次加入視覺能力及支援電腦操作。Hy4 強化指令遵循、長文本理解、長程任務執行、深度研究、前端開發及金融分析;騰訊混元聯同騰訊金融科技團隊邀請 213 位專家,以 579 個真實金融任務測試,Hy4 綜合表現位居開源模型第一。
騰訊混元發佈新一代大語言模型 Hy4,新增視覺理解並首次支援電腦操作(Computer Use),亦提升指令遵循、長文理解及長程智能體能力。Hy4 將於近期開源模型權重並發布模型系統卡片,目前已在騰訊雲Tokenhub、WorkBuddy/CodeBuddy、元寶等產品上線,API 亦接入 OpenRouter、Hermes、OpenCode 等平台。
推薦理由:Hy4 的更新涵蓋視覺理解、電腦操作及長程智能體任務,報道亦列出已上線產品與 API 平台,呈現能力擴展及接入情況。
騰訊混元發布新一代大語言模型 Hy4 正式版,首次加入視覺能力並支持電腦操作,同時提升指令遵循、長文理解及長程任務等能力。Hy4 已在騰訊雲和 OpenRouter 上線,亦可在 CodeBuddy、WorkBuddy、元寶及 ima 體驗;官方稱其效能顯著超過 Hy4 preview,API 價格則維持相同。
騰訊混元發佈新一代大語言模型 Hy4;相較 Hy4 preview,模型擴大預訓練和後訓練的數據與規模,並首次加入視覺理解和電腦操作能力。
IndiaAI Mission 發佈三款本土基礎模型:Soket AI Labs 的 EKA-1,以及 ZenteiQ 的 Dhīr 2B 和 Dhīr 5B,三者於 11 月 3 日在新德里一場活動中亮相。
據知情人士透露,後摩智能已完成數十億元人民幣B輪融資,並在近一年內連續完成多輪融資。公司披露,M50量產不到一年已獲150多個產品定點,服務客戶超過百家。本輪資金將用於擴大M50規模化交付、研發新一代M6X與下一代3D CIM產品,並完善軟件工具鏈及產業生態。
復旦大學、香港中文大學 MMLab 和上海交通大學的研究者提出 ReTerm,讓終端智能體保留自身執行失敗後的現場並嘗試恢復,再按任務結果更新模型。
Anthropic 發表研究項目 FlashProve,利用 zkSNARK 證明回應由指定模型權重生成,同時不公開權重。
這篇教程以 6 個手算問題,拆解 Transformer 從 RNN 梯度消失到 GPT 逐字生成的關鍵機制。內容涵蓋 Self-Attention、Causal Mask、多頭注意力及 KV Cache,並比較 GPT 與 BERT 的訓練方式。
文章以語音質檢鏈路建立可復核的輸入 Token 成本模型,指出在一組假設參數下,初篩後逐窗口呼叫 LLM 的用量約為整段轉寫單次呼叫的 1.57 倍,主因是提示詞前綴重複計費。
這篇教程以 6 個問題和簡化數值例子,從 RNN 梯度消失講到 GPT 逐字生成,逐步手算 Self-Attention、Causal Mask、多頭注意力與 KV Cache。
Revolut 將工程師的日常 AI 編碼工作轉至自行託管的開放權重模型,據公司數據,推理成本約減 90%,編碼時間改善約 60%。團隊由 GLM-5.1 起步,後升級至 GLM-5.3,並以約 56 張 Nvidia B200 GPU 提供服務;調校後每秒請求量增加 76%,Claude Code 和 Codex 留作例外,UI 工作及最難的問題仍使用前沿模型。
bpf-gpu-server 測試顯示,將 GPU 伺服器的請求迴圈移入 Linux 核心,未帶來明顯 CPU 節省或一致的延遲改善。作者以共用 GPU dispatcher、佇列及 CUDA graphs 的 C++ 伺服器作對照;FFT 小請求測試中,每次請求的總時間為 37.56 µs(native epoll)和 37.96 µs(內核路徑)。
MIT 研究人員提出 Weight-Space Programming,展示通用大型語言模型可直接讀取、解讀及修改神經網絡權重,而毋須重新訓練或使用梯度下降。
推薦理由:研究透過遊戲辨識、免訓練生成網絡及修改 Qwen3.5-0.8B 等實驗,呈現 LLM 直接讀寫權重的多種測試方式。
Gartner 發佈 2027 年十大戰略技術趨勢,聚焦 AI 深入業務後的運行治理,並分為非文本 AI、智能體平台治理和持久敏捷性三組。相較 2026 年版,文章指出治理重點進一步落到業務上下文、智能體身份與工具權限、結果驗證和錯誤恢復,以及應用和供應商依賴的退出安排。文中提醒,各項趨勢的成熟度和投資緊迫性不同,報告中的數字屬於預測,並非已實現的市場結果。
Applied Compute 融資 $350 million,估值達 $3.25 billion,並披露年化經常性收入已超過 $100 million。這輪融資由天使投資者 Elad Gil 領投,Nvidia、Shopify Ventures 和 HubSpot Ventures 等參與。其雲端平台涵蓋 LLM 訓練與推理,採用異步 RL 和自我蒸餾,並提供模型路由 Shift-1。
清華大學自動化系的論文提出,通往 AGI 不應只擴大 System‑2,而要與輕量 System‑1 協同設計,預先篩選有價值的交互。理想情況下,算力可縮減至接近 $1/\rho_u$,但預測錯誤和探索需求會削弱節省效果。論文並提出以有效資訊算力,而非總算力,描述模型縮放規律。
OptiQ 0.1.0 在 Apple Silicon 上支援 MTP,並在 M4 Pro 24 GB 的 512-token 生成測試中,以貪婪解碼讓 Qwen3.5-4B、Qwen3.5-9B 和 Qwen3.6-27B 分別達到 1.20x、1.32x 和 1.40x 加速。
OpenAI 等 AI 公司正攻關數學,Lean 等形式化證明工具可嚴格檢查 AI 生成的證明。Mathlib 已累積超過兩百萬行形式化數學內容,通過驗證的證明亦可為 AI 提供反饋,但以此推動自進化的成效仍未可知。Lean 不能判斷問題是否正確表述或有實際價值,也不適用於難以形式化的現實問題。
Anthropic 發佈開源研究原型 FlashProve,使用 zkSNARK 證明回覆來自已承諾的模型,且不披露模型權重。在 Llama 4 Maverick(400B MoE)上,1 H100 的證明速度約為 110 tokens/second;18.78 MB 證明由 CPU 驗證需 17 秒,證明所耗 GPU 時間約為 vLLM 推理的 70 至 95 倍。
Anthropic 開源 FlashProve,利用零知識證明,讓模型服務商可在不公開模型權重的情況下,證明回答由指定模型根據相應輸入生成。在總參數量 400B 的 Llama 4 Maverick 測試中,單張 NVIDIA H100 的證明生成吞吐量約為 110 Token/s,每份證明約 18.78 MB。
生成媒體推理初創公司 fal 宣佈完成 $1.3B 融資,估值達 $16B,資金將用於增加算力和招聘。共同創辦人 Burkay Gur 表示,公司曾因服務能力不足而限制客戶使用。一名知情人士向 Bloomberg 表示,fal 今年較早時的年化收入已超過 $800 million。
NVIDIA 在單台 DGX Spark 上為 Ant Group inclusionAI 的 Ling-3.0-flash 疊加 3 項優化,在 1,319 道 GSM8K 題目測試中將解碼吞吐量由 37.81 提升至 53.89 tokens/s,增幅 42.5%。
AI 推理初創公司 Fal 在最新一輪融資中籌得 $1.3 billion,估值升至 $16 billion,較 4 月的 $8 billion 翻倍。
史丹福研究人員以 20 個模型檢驗 50 項廣受引用的 LLM 主張,發現 44% 已失效,另有 34% 明顯減弱。22 項可估算失效時間的主張平均只維持 15.7 個月;9 項推理相關發現均未維持或增強,其中 5 項已失效。
AI 推理初創 Fal 融資 $1.3B,估值達 $16B,較 4 月的 $8B 翻倍。這輪融資由 Bessemer Venture Partners 領投,Nvidia、T. Rowe Price、Sound Ventures 和 HOF Capital 亦有參與,並於 10 月完成。
文章分析 AI 推理伺服器何時值得用 DPU 卸載網絡工作,核心判準是每節點能否因此釋放約四至六個 CPU 核心。文中指出,使用連線池的普通 HTTP 推理伺服器通常只省下一個核心;IPsec 線速處理、高連線更替的 TLS 或每個 Pod 配置 service mesh sidecar,才較可能達到回本門檻。
生成媒體基礎設施公司 fal 於 2026 年 11 月 3 日宣佈一輪由 Bessemer Venture Partners 領投的 F 輪融資,NVIDIA 以策略投資者身份參與,並披露較早於 2026 年完成、由 Sequoia Capital 領投的 E 輪融資。
Speculative Listening 是一種免訓練、無損的推測解碼框架,利用分塊交錯式全雙工語音語言模型的閒置運算,預先草擬並驗證後續音訊區塊。在八項任務的 TickTock-Bench 上,它令語音區塊加速 2.6-2.8x、工具呼叫區塊最高加速 23.4x,並將回應開始前的解碼延遲平均降低 73% 至 74-241 ms。
D3D 論文提出獨立擴散草稿器,將草稿生成與目標模型驗證解耦,支援非同步推測解碼。它在七個基準上的平均解碼加速比為 Qwen3-8B 的 5.00×、Qwen3-32B 的 5.71×,高於 DFlash 的 4.03×和 3.67×,並在 GSM8K 上達到最高 7.48×。
Zuse 由 4B、9B 和 27B 三個決策模型組成,面向 27 種歐洲語言,以凍結的開放權重基礎模型為底座,訓練低秩適配器和指針頭。涵蓋 27 種語言、9 個任務組別的評測中,27B 模型準確率為 87.5%,整體期望校準誤差為 0.016。研究發現,校準偏差主要按任務而非語言區分,且超出訓練語言的表現受基礎模型所涵蓋語言影響。
作者以實際程式碼測試 Opus 5.5、Sonnet 5.5 和 Haiku 5.5,比較三款模型的速度、成本和準確度。Opus 5.5 每次回應需 12 秒、每次請求 $0.042、準確度 95%;Sonnet 5.5 為 9 秒、$0.011 和 90%;Haiku 5.5 為 4 秒、$0.001 和 80%。