用於檢索增強大語言模型搜尋狀態感知的自我評估強化學習
Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。
Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。
SparkLLM 發佈 Spark-X2.6-4B,並表示後訓練提升了編碼、Agent 工作流程、長上下文、多語言使用及推理能力。在思考等級設為 high 的公佈評測中,BFCL-V4 由前代的 65.1 升至 71.8,MCP-Atlas 由 54.6 升至 62.4,SWE Verified 由 41.6 升至 62.8;各基準排名不一,數據由發布團隊提供。
AWS 作者展示在 Amazon SageMaker HyperPod 上微調 GPT-OSS-20B,50 個測試案例中的指定語言推理正確率由基礎模型的 22% 升至 SFT 後的 100%。
Interconnects 第 25 期開放 AI 成果綜述聚焦中美監管動向、DeepSeek-V4.1-Flash-1017,以及多款開放模型與工具更新。中國商務部提出政策草案,要求前沿 AI 模型及部分技術在國際共享前獲政府預先批准,並稱開源技術將設自動審批;美國 DHS 則限制 DeepSeek 公司及其模型平台成為聯邦民事採購供應商。
DeepSeek 於 10 月 20 日開源內部使用的 DeepInfer 推理框架,採用 Apache 2.0 授權,首階段支援 DeepSeek-V4.1-Flash。
DeepSeek 開源的 DeepInfer 目前只支援 DeepSeek-V4.1-Flash,提供面向大規模服務的離線推理;文章梳理其功能及未涵蓋的服務元件。
文章用公式説明 KV cache 的 GPU 記憶體開銷,並比較 MHA、MQA 和 GQA 透過不同 KV head 數量影響快取容量。以 8k context 為例,文中設定的 Llama-2 7B 風格模型約需 4 GB,Llama-3 8B 的 GQA 約需 1 GB;同形狀、單 KV head 的 MQA 假設情境約需 0.12 GB,並非實測模型。
AWS 説明加拿大用戶如何透過 Amazon Bedrock 跨區域推理,存取 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 Sol。
Zyphra 公佈 Zyphra Optimization Engine(ZOE)第二輪推理優化,面向 AMD Instinct MI355X 改進 MoE 與長上下文服務。
AI 程式 Darmok 在本月 Times 年度密碼填字比賽中,完成決賽題的速度比人類參賽者 Liam Hughes 快約三分鐘。Darmok 以 Gemini 3.1 Pro、Claude Fable 5、GPT-5 和 GPT-6 Astra 為基礎,主要由前兩個模型解題,必要時再加入另外兩個。開發者 Sid Chatterjee 認為,設計出令人滿意的密碼填字題將是 AI 面臨的更大挑戰。
Ethan Mollick 回顧《Co-Intelligence》出版後 30 個月的 AI 進展,指出模型能力、使用成本及人機協作方式均已改變。
Google 推出建基於 TorchTPU、可在 TPU 上原生執行 PyTorch 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎。
Inception 已發佈擴散式大語言模型 Mercury 3,公司稱它在自家多項基準測試中勝過 OpenAI 的 GPT-6 Luna、Anthropic 的 Claude Haiku 5.5 及 Zhipu 的 GLM-5.3 Flash,速度快 4 至 8 倍。
與 Apex Fusion 合作的研究團隊在 4 張 RTX 3090 上,以 4-bit 精度的 Qwen3.8-27B 重現 MIT SwarmWorld 實驗的核心結果。
EME GUG 解釋 LLM 推理引擎如何透過 Continuous Batching、PagedAttention 和 Prefix Caching 提升速度,並示範以 vLLM 量度及調校。
作者構建面向低功耗自主部署的概率圖神經推理方案,以處理山火疏散物流網絡中的不確定路線風險。方案採用兩至三層訊息傳遞網絡和高斯訊息,並以矩匹配近似聚合。作者稱測試中路線風險排序幾乎完全保留,計算量減少一個數量級;量化時均值採用 int8,log-variance 採用 fp16 或 bf16。
Reuters報道,字節跳動、阿里巴巴和騰訊已訂購逾 3 million 張 Nvidia RTX PRO 5500 顯示卡,總標價超過 $35bn。消息人士稱,Nvidia未能保證供貨,並告知合作夥伴可能只交付所要求數量的 5% 至 10%;三家公司計劃主要將顯示卡用於推理。消息人士另稱,Nvidia 2027 年全球產量可能不超過 3 million 張;TNW表示未有獨立核實該報道。
MiniMax M3.1 Flash 未指定 reasoning_effort 時預設為 max,思考功能不能關閉;作者拆解相關 API 設定及成本影響。
llm-d 項目貢獻者於 2026 年 10 月 20 日在 PyTorch Conference North America 發佈 llm-d 1.0,這套 Kubernetes 原生分散式推理服務堆疊加入多租戶流量控制及零停機更新等生產運維能力。
doubleAI 的 Maxwell 會在程式運行時理解並改寫程式碼,按硬件與數據調整底層二進制,並形式化證明每項最佳化與原程式等價。在 LTX-2.5 的案例中,4K 影片生成速度提升 1.87×,每段影片在兩張 B200 上由 250s 降至 134s。
DeepSeek 進一步將內部推理框架 DeepInfer 全面開源。此外,螞蟻百靈開源 Ming-3.0 語音系列模型,上海團隊發布並開源記憶原生大模型 MemT-1.0。
ZedIoT 指出,ESP32-S3 適合運行小型 INT8 量化模型、有明確上限的輸入窗口及受控推理頻率的 TinyML 工作負載,但不適合大型模型、持續高幀率視覺或複雜多模型流程。
llm-d 項目發佈 1.0 版分散式 AI 推理框架,新增面向企業自建模型服務的多租戶、不中斷升級及 Agent 工作負載控制。框架建基於 Kubernetes,並支援將快取資訊在 GPU 記憶體、CPU 記憶體和儲存裝置之間移動。
PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。
推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。
文章以 .NET 10、Microsoft.Extensions.AI 10.11 範例説明,使用 OpenAI Responses API 的推理模型時,加密推理內容可能在三個環節從聊天歷史中遺失。
文章標題提出投機解碼為何速度快,但所提供內容只有 Hacker News 頁面資訊,未包括文章對解碼原理的説明或相關數據。
DeepSeek 開源高效能推理框架 DeepInfer,提供離線推理及面向大規模服務所需的核心功能。它支援 DeepSeek-V4.1-Flash,並提供最佳化 kernels、非同步排程及結構化輸出,支援 NVIDIA SM100 GPUs 和 Huawei Ascend 950 NPUs。
Paul Piper 根據 Smart Inference 自 4 月起累積的約 11 million 個 GPU 價格點及 3.3 million 個 token 價格點指出,6 月至 10 月 GPU 價格上升,但大型開放模型的推理價格大幅下跌。
Metis Reasoning 由前 Google DeepMind 研究主管、AlphaGo 共同創作者 Thore Graepel 等人在倫敦啟動,主張以更具計算效率的路線發展 AI 推理。
IT之家上手測試聯想 YOGA Pro 15 RTX Spark,展示 RTX Spark N1X 在端側 AI、專業創作及遊戲中的實測表現。128GB 統一記憶體版本在 Comfy Desktop 以 FLUX.2 DEV NVFP4 Turbo 生成單張圖片需 16.6s,使用 LTX-2.5 NVFP4 生成 8 步 720P/120fps 影片片段需 71.15s。
Visual-Attribution Gating(VAG)以對比驗證篩選多模態 RLVR 的 on-policy 自我蒸餾(OPSD)更新,避免把無視覺依據的教師修正傳給學生模型。
Latent Space 的 AINews 彙整 10/16/2026–10/19/2026 的 AI 動態,涵蓋多款模型發佈、Agent 研究、推理基礎設施及行業與政策消息。
推測解碼讓小型草稿模型提出多個後續 token,再由大型目標模型一併核對,以加快生成並維持目標模型原本會產生的文字。核對時保留相符猜測,並以目標模型修正首個不符 token;草稿愈準確,每輪可接受的 token 愈多,節省的時間也愈多。
相關研究指,為混合語言模型調整強化學習獎勵可重新啟動其 THINK 推理模式,令推理軌跡平均縮短最多 65%,並大致維持答案準確度。在 9B 參數設定中,生成限制內完成率由 45.9% 升至 93.9%,平均軌跡長度由 2,494 降至 868 tokens。測試只涵蓋 Qwen3 系列與 StartLux-Decision 及各自的基準;準確度仍有輕微下降,能否延伸至其他架構或任務尚不清楚。
文章以 Mistral 的 Timestral、CERN 與 Mistral 擬建的 Flare,以及金融模型 Kronos 為例,指出垂直基礎模型正以小型、專用設計重組推理部署。
AdaExploreBench 評測 LLM 智能體在演變環境中主動探索隱藏規則及適應未預告變化的能力,發現現有智能體難以搜尋相關證據和識別過時知識。測試八款領先 LLM 時,GPT-6 Sol 的校準準確率為 61.9%;提供足夠證據或移除規則漂移,均可令平均表現顯著提升近 10%。
OpenVLHarness 將持續多模態記憶、異質工具介面和迭代證據組合用於多模態推理,在 22 項基準上較匹配的無工具基線提升 9.7–12.6 分。研究涵蓋八個開源及專有模型,包括 Qwen3-VL-8B(+11.2)、Kimi K3(+9.7)和 GPT-6 Astra(+9.9)。
研究團隊提出 AnyGoal 基準測試及開源程式庫,用以評估世界模型能否將熟悉的狀態與動作組合泛化至未見情境,以支援規劃。測試任務取自常用世界模型環境,個別狀態因素與動作均在訓練範圍內,但相關組合在專家軌跡中較少出現。多個環境和世界模型系列的結果顯示,現有模型在這類重新組合下持續失效。
作者比較四款名稱相近的 RTX 6000 顯示卡,並説明如何核實租用的是否為 96 GB RTX PRO 6000 Blackwell。96 GB GDDR7 是 Blackwell 的辨識要點;作者建議用 nvidia-smi 核對完整名稱、總記憶體和 compute capability,其值為 12.0。
北京存算協同晶片企業銘芯啟睿宣佈完成超過4億元A輪融資,並啟動第一代推理晶片LPU研發。資金主要用於 RRAM 產業化與商業化,以及 LPU 研發。前英國 AI 晶片公司 Graphcore 總裁兼大中華區總經理盧濤加入團隊,出任 CEO 及聯合創始人。