阿里千問提出 TRACE,以 FP4 Rollout 加速強化學習,解碼吞吐最高提升 5.4 倍
阿里千問與俄亥俄州立大學研究團隊提出 TRACE,透過 Rollout 指導訓練側的 FP4 舍入,減少低精度訓練與生成路徑的差異,讓 MoE 模型在聯合 FP4 W/A 與 FP4 KV Cache Rollout 下維持接近 BF16 Rollout 的表現。
阿里千問與俄亥俄州立大學研究團隊提出 TRACE,透過 Rollout 指導訓練側的 FP4 舍入,減少低精度訓練與生成路徑的差異,讓 MoE 模型在聯合 FP4 W/A 與 FP4 KV Cache Rollout 下維持接近 BF16 Rollout 的表現。
後訓練不能讓 AI 應用公司變成基礎模型公司,也不能單獨挽救應用業務,但可作為優化成本和模型供應鏈的技術手段。後訓練涵蓋 LoRA、SFT、RLHF、DPO 到 RLVR,投入由小規模調參延伸至大規模強化學習,推理成本亦會隨規模增加。文章指出,eval 把業務問題轉成任務分佈和評分規則,是後訓練的基礎;有效投入亦需要充足現金及深入的業務理解。
一名年輕開發者質疑,若開源專案被用來訓練旨在取代自己的模型,維護這些專案還有甚麼意義。他不時為多個開源專案作出貢獻,也維護自己的專案,並表示對未來的看法較年長的資深工程師悲觀。
惠普於 10 月 23 日上架戰99 Ultra(ZHAN99 Ultra 16 G3a AI)流動工作站,標價 59999 元。它搭載鋭龍 AI Max+ PRO 495 處理器和 192GB LPDDR5X 統一記憶體,整機 AI 算力達 131TOPS,最多可分配 160GB 給 Radeon 8065S 核顯;記憶體採板載設計,無法自行升級。
Warp Sciences於2026年10月宣佈完成2.15億美元A輪融資,由Lightspeed Venture Partners領投,多家知名風投跟投。公司為藥企及Biotech提供臨牀前小分子合成與測試服務,不自主研發新藥,並以化學家示教數據訓練實驗機械人,建立自動化濕實驗室,推動AI模型與實驗數據閉環迭代。
印度工人拍攝理髮、縫紉及家務等工作影片,經資料公司整理後供科技公司和研究機構訓練 AI,尤其是可控制現實世界機械人的實體 AI。Rashdan Technologies 每 8 至 10 小時錄影支付 $5 至 $10,並稱會為需要四至六部攝影機的採集工作支付更多。
作者原本希望以深度學習或 XAI 開發機器學習項目,後來轉向統計預測,並開始質疑整體技術方案是否合適。現有實驗流程以合成數據進行統計預測、回測和評估,再用 LLM 生成商業敍述;作者亦試用 Gemma 2B,但推理時遇到 GPU 記憶體限制。作者希望釐清模型選擇、預測評估、LLM 是否必要,以及如何把 Notebook 實驗整理成可重現的項目。
Maxinsights 為 OpenAI 等 Physical AI 頭部企業供應第一人稱視角數據,已交付超過200萬小時,並成為 Dyna-2 的最大數據供應商及 GENE-26.5 的獨家第一人稱數據合作夥伴。公司稱其 ARR 連續多月達到或接近1億美元,2026年第三季度訂單簽約額預計按季增長48%。
PyTorch 將 FlyDSL 高效能內核後端整合至 ROCm 生態,供 AMD Instinct MI350(gfx950)系列加速器使用,開發者無須改動業務程式碼即可透過現有 API 啟用優化內核。
西部數據 CEO 指出,AI 本質上是數據系統,HDD 市場機遇較算力更持久,前七大核心客戶訂單能見度已排至 2030 至 2031 年。西部數據 2026 年 HDD 產能已全部售罄,長期供應協議簽至 2028 年,管理層表示收入和出貨量受供應能力限制。單台 AI 伺服器的儲存配置高達 1.7TB,傳統伺服器為 0.5TB;KV cache 管理等任務亦正由 GPU 顯存轉至共享高效能儲存。
上海市經濟和信息化委員會印發《上海市加快推動人工智能賦能工業服務業高質量發展行動方案(2027-2028年)》,提出降低智能要素使用成本。方案支持企業調用雲平台部署的第三方大模型 API,或採用第三方大模型私有化部署方式推進垂類應用,補貼最高500萬元;租用非關聯方智算資源開展大模型及智能體研發與應用,可獲最高30%租用補貼,購買高質量語料則可獲最高500萬元補貼。
意大利 Generative Bionics 與 AMD 合作建設實體 AI 數據工廠,以訓練歐洲人形機械人。意大利首個 5,000 sq metre 設施預計於 2027 年底投入運作,之後計劃在歐洲其他地點及全球市場各設一處設施。工廠將重現與工業夥伴選定的環境,讓 Gene.01 機械人執行任務並收集視覺和動作數據,用於建立數碼孿生模擬訓練。
Mirendil 以一名研究員和 AI 智能體,在 3.5 個月內從零完成 Mirendil‑Base 預訓練,算力成本不足 1000 萬美元。項目超過 99% 的程式碼開發、實驗除錯和故障排查由 AI 智能體承擔,研究員負責研究方向、結果核驗及關鍵決策。在 7 個未參與訓練的外部程式碼儲存庫測試集上,Mirendil‑Base 平均指標僅次於 Kimi‑K3;團隊稱模型尚未達到完全自主遞歸迭代。
Hugging Face 推出以千問 Qwen3-14B 為基礎的開源 DNA 模型 Carbon-X,參數量為 140 億,可整合 DNA 序列與自然語言,支援序列提問、突變影響預測及序列生成。
SpaceX 快速擴建 AI 算力並對外出租,第三季度營收達145.75億美元、淨利潤44億美元。AI 業務當季收入75.6億美元,佔總營收52%,首次超過星鏈,成為最大收入來源。Anthropic 與 Google 均租用其算力,SpaceX 稱新部署算力回本週期不足一年。
推薦理由:文章串聯算力部署速度、租賃合約與回本週期,呈現 SpaceX 將大型基建投入轉為短約現金流的商業模式。
騰訊於 2026 年 10 月 15 日推出 Hy Memory 2.0,核心是專為寫入持久記憶而訓練的 Hy-Memory-30B-A3B。模型約有 30B 總參數,每個 token 約啟用 3B;發佈內容亦包括 Python SDK 框架及 MemHub 桌面應用。
Cola2 提出分層語言建模框架,聯合優化連續語義壓縮、重建與生成的平衡,以及編碼器與解碼器的協同適配。在八項任務中,一個尚未收斂的檢查點平均得分為 60.10,並在 HellaSwag 和 StoryCloze 超越 Llama-3-8B;其使用 346.03 billion source tokens,而 Llama-3-8B 報告的預訓練預算超出 43 倍以上。
Rivian 宣佈收購專注於生成高精度、可控 3D 虛擬環境的 AI 技術公司 Third Dimension,以提升複雜駕駛場景下的算法訓練能力。Third Dimension 的技術尤其服務於自動駕駛仿真測試;交易金額未披露,整合工作預計於 2027 年初啟動。
OpenAI 的 GPT-6 Astra 展示機械臂操作能力,令大語言模型與獨立具身大腦公司的競爭升温;現階段通用推理與專用操作的混合架構仍較可行。RoboDojo 十類複雜操作任務共 50 次測試中,Astra 單獨成功率為 26%,接入 π0.5 後升至 48%;Astra 只修正 14.4% 的執行控制步。
Fireworks AI 宣佈 Training API 和 Fireworks Lab 正式開放,分別提供自訂訓練基礎設施及專家協作服務。
Fireworks AI 梳理企業從租用封閉前沿大語言模型、透過 AI 工程和開放模型優化,走向微調自有模型以建立專門化智能的路徑。在 UIPad 測試中,Kimi K3 與 GPT 5.6 Sol 整體同為 87.7 分,但 K3 執行成本為 $56,低於 Sol 的 $115;細分類別中,Sol 在座標題領先 13 分。
文章提出一套用於仿生軟體機械人維護的保護私隱主動學習架構,由機械人利用自身的不確定性訊號選擇值得學習的經驗,無須把原始感測器數據傳送至伺服器。架構結合裝置端不確定性估算、主動查詢選擇、差分私隱與聯邦式聚合,以及更新模型後的具身反饋迴路。作者的測試顯示,本體感覺預測誤差可捕捉集成模型未察覺的機械異常,而模型集成則能識別本體感覺誤差未能反映的感測器異常。
十項可重現普查發現,SNLI 與 MultiNLI 分別有 568,404 個及 412,222 個唯一樣本,經精確比對或統一空格與大小寫後,均沒有共用樣本。SNLI、MultiNLI 和 ANLI 的重複樣本標註衝突只出現在訓練集,所檢查的評估集沒有衝突。其他普查亦檢查了 BoolQ、PIQA、CommonsenseQA 和 GSM8K 的重複樣本、資料重疊及標註一致性。
ThinkingBox-Training 已在 GitHub 開放,將智能體完成任務後的資料庫終態可執行檢查用作後訓練獎勵。以 GRPO 對 Qwen3.8-27B 訓練 50 步後,在 ThinkingBox-Bench 的 507 項任務(每項測試 20 次)中,pass@1 由 51.70% 升至 60.78%,20 次全部成功的任務由 38 項增至 107 項。
推薦理由:文章展示如何把資料庫終態的可執行檢查轉成智能體後訓練獎勵,並按基礎策略成功率篩選任務,説明混合成敗回報如何為 GRPO 提供組內對比。
前 OpenAI 科學主管 Kevin Weil 創辦的 Warp Sciences 正式成立,並獲得 $215M 融資,主攻藥物發現化學服務。公司在美國建立化學合約研究機構,首項服務是先導化合物優化的類似物合成,為客戶製作可供比較的分子變體。實驗數據將用於訓練 AI 模型,實驗室亦會在化學家指導下逐步增加自動化。
Meta 修改商業帳戶條款,刪除以抓取內容訓練產品的明確表述,但法律專家認為修訂仍未排除抓取新聞網站內容的可能。新條款將於 10 月 30 日生效,仍允許 Meta 使用相關內容開發「任何商業產品」;專家認為「開發」可能涵蓋訓練,Meta 則稱更新不會凌駕網站透過 robots.txt 表達的偏好。
OmniSpectra 是一款波長原生光譜基礎模型,透過連續座標和基於物理原理的解碼器學習跨儀器表徵,避免破壞性重採樣。模型在八個巡天數據集上預訓練,並與七個基線模型比較,以 12.2M 參數達到最先進的表現,勝過規模大得多的模型。
CLACT 和 WorldCast 透過結合 3D 點雲引導與幾何對齊記憶注意力,實現大角度鏡頭運動下的一致角色影片生成。CLACT 是涵蓋多種大角度鏡頭軌跡、具備準確鏡頭幾何與多視角角色觀測的數據集及基準;WorldCast 則以幾何引導和 GAMA 檢索、注入相關角色特徵。評估顯示,WorldCast 能跟隨不同的大角度軌跡,同時保留角色幾何、外觀與身份。
LEMS 逐層誤差模型搜尋與 KFAC-SVD 透過改善秩分配及分解品質,提升大型語言模型的低秩 SVD 壓縮效果。在 Mistral、Qwen3 和 Llama 3 系列中,LEMS 的零樣本準確率提升最高達 4.8 p.p.,並可延伸至 70B 參數規模的模型;KFAC-SVD 的平均困惑度改善 15%。
Test-Time Memory Evolution(TTME)在五項數學任務中均勝過測試時訓練(TTT),並降低計算成本。TTME 透過持續更新外部記憶來引導後續探索,不更新模型權重;在相同發現框架下,FLOPs 減少 82.8-84.6%,執行時間縮短 47.7-58.4%。
On-Policy Self-Training(OPST)將 on-policy self-distillation 重構為自我訓練框架,讓大型語言模型在無需人工整理問答的情況下提升語言及多模態推理,並勝過其他訓練策略。模型根據高層次主題描述自行生成問題、答案及特權推理示範,再以偽驗證篩選可在新語境及改述下重現答案的問題。
DiscoDemo以強化學習生成多樣而成功的機械人操作軌跡,並將其整理成靜態數據集,供下游視覺運動模仿學習使用。在四項操作任務中,模擬環境的下游成功率由最強基線的40%升至62%,真實機械人上的成功率則由39%升至78%。研究顯示,成功解法的多樣性有助改善預訓練 flow-matching VLA 的模仿學習表現。
AWS 為 Amazon SageMaker AI 加入 training session APIs,讓用戶以本機 Python 自訂訓練迴圈,並由服務管理 GPU 運算。
推薦理由:文章以 GSM8K 數學題及競賽編程 RL 範例,拆解本機訓練迴圈如何組合抽樣、獎勵計算與梯度更新,並由 SageMaker 管理 GPU 執行及檢查點。
AWS SageMaker AI 正式推出 Serverless Training Sessions,讓用戶自訂模型後訓練迴圈、損失函數及獎勵訊號,而無需管理底層 GPU 基礎設施。
推薦理由:Training sessions 讓團隊自訂後訓練迴圈,同時由 SageMaker AI 管理 GPU 密集運算;文中以 GRPO 説明採樣、評分和權重更新如何串接。
Warp Sciences 結束隱身模式並獲得 $215M 融資,計劃在美國建立結合化學家、AI 和機械人技術的化學合約研究機構,為生物科技及製藥客戶提供研究用化合物。公司起步於先導化合物優化的類似物合成,由客戶選擇研究分子並保留藥物項目的控制權。Warp Sciences 計劃記錄成功及失敗實驗以支援模型改進,但公告未提供周轉時間改善數據或模型基準,也未顯示全自動實驗室已投入運作。
LCGA Local 發佈 v0.1.0(https://github.com/byjameson/lcga-local),展示在 6 GB VRAM 手提電腦上運行 Qwen3-4B-Instruct-2507,並全參數更新 3.09B 個模型參數。
國家數據集團有限公司於2026年10月20日在河北雄安新區揭牌成立,主業為數據資源開發利用。報道指出,國家數據局負責數據基礎制度建設和政策設計,集團則負責數據資源開發利用等市場營運。集團將為人工智能產業提供高質量數據集和語料庫,並提供普惠安全的數據服務及行業數據治理服務。
在不改變訓練目標或 sampler 的情況下,對均勻擴散語言模型循環使用早期 Transformer 層,可提升訓練效率。
AGIBOT 於10月22日公佈 AGIBOT WORLD 2026 Release 4「Physical Reasoning」數據集,收錄在不同場景條件和任務進度下通往同一目標的多種行動路徑。
Steam Reviews Scraper 透過 Valve 的公開評價端點匯出 Steam 遊戲評價及玩家遊玩時間,整理成可分析的資料列。教程示範按週追蹤正面評價比例,以及比較不同遊玩時數玩家的推薦評價;費用為每則評價 $0.0003。