DSReg: Provably Recovering Individual World Latents without Reconstruction
DSReg 在 Structural Diversity 條件下,無需重建、解碼器或標籤,即可恢復個別世界潛變量,結果僅差符號置換。它可後置套用於任何線性可辨識表示,重用已訓練檢查點,且效果不遜於聯合訓練。測試顯示,DSReg 保留密集預測能力,同時提升個別潛變量恢復及下游應用表現。
DSReg 在 Structural Diversity 條件下,無需重建、解碼器或標籤,即可恢復個別世界潛變量,結果僅差符號置換。它可後置套用於任何線性可辨識表示,重用已訓練檢查點,且效果不遜於聯合訓練。測試顯示,DSReg 保留密集預測能力,同時提升個別潛變量恢復及下游應用表現。
Periodic Labs 的 Liam Fedus 與 Ekin Doğuş Çubuk 在訪談中闡述「合成超級智能」願景,主張結合強化學習、模擬和真實世界實驗推進材料發現。他們指出,材料探索須經歷預測、合成和表徵,且實驗數據存在噪聲、不確定性和資訊缺漏。訪談亦討論模擬與實驗如何互補,以及科研過程和失敗實驗對模型訓練的價值。
Δ-MOPD 將教師相對於基礎模型的 logit 偏移重新錨定至學生的凍結初始化,用於多教師 on-policy 蒸餾,並與端點監督作比較。三位教師組合時,Δ-MOPD 的 Math 高 4.11 分、五項基準高 1.95 分;分階段路由時,平均表現較高,觀察到的順序差距由 10.50 分降至 6.42 分。結果顯示,目標構建方式是多教師蒸餾中獨立於教師選擇的設計因素。
SGLang & Miles 團隊展示 SGLang 在 NVIDIA Vera Rubin 上的推理優化成果,並讓 Miles 在該平台執行端到端 RL 訓練。
Zyphra Research 提出兩種利用 MoE 路由相關性的系統優化方法,以降低分散式預訓練中的 GPU 通訊開銷,且不改變模型架構或路由決策。方法包括把經常由同一 token 選中的專家放在同一 GPU,以及根據前層路由預測下一層專家並移動 token;後者可併入原有 reduce-scatter,不增加網絡流量。
研究提出 Q-learning with Scalar Adjoint Matching(SQAM),結合純量伴隨匹配與政策生成動作上的價值懲罰,以微調 flow policy。在 OGBench 最具挑戰的四個領域,SQAM 的成功率較各領域最強基線高 18 至 35 個百分點。在真實雙臂機械人上微調視覺語言動作政策時,SQAM 在全部三項任務的表現均優於監督式微調。
AI 機械人研究雖有進展,但現有系統仍難以泛化至訓練資料以外的任務,可靠度亦不足,短期內難以改變日常生活。Physical Intelligence 的 π0.7 曾嘗試把番薯放入氣炸鍋,但訓練資料中已有少量相關遙操作示範,而且機械人未能完整完成任務。目前的實際部署仍限於受控環境中的簡單工作,示範中的成功率提升也未必代表機械人已能可靠地在家庭或工廠使用。
Reflection 宣佈進入下一階段,致力打造人人可用的前沿開放智能,並已組建 AI 團隊、建立前沿 LLM 訓練平台及籌得 $2 billion。其大規模 LLM 與強化學習平台可訓練前沿規模的 MoE 模型,公司正把相關方法由自主編碼拓展至通用智能體推理。公司亦表示會在發佈前評估模型能力與風險,投入安全研究,並制定負責任部署標準。
Cartesia 與 Together 發佈 Mamba-3B-SlimPJ,這款 2.8B 參數模型以 600B tokens 訓練,採 Apache 2.0 授權。它以少 17% 訓練 FLOPs,達到 BTLM-3B-8K 等強勁 3B Transformer 的模型品質。訓練使用 SlimPajama 數據集、上下文長度為 2048,模型亦可作為實驗及聊天和指令微調模型的基礎。
Cartesia 公開 Llamba-1B、Llamba-3B 和 Llamba-8B 權重,這組模型以 MOHAWK 將 Transformer 蒸餾為 Mamba-2 變體。
Cartesia 宣佈與研究夥伴合作研究階層式網絡 H-Net,這種新架構能直接從原始數據建模層級,並透過動態分塊機制把數據切分及壓縮成有意義的概念。H-Net 在語言建模中比採用 BPE tokenization 的最先進 Transformer 更能隨數據擴展,且在中文、程式碼和 DNA 等沒有自然 token 邊界的領域優勢更明顯。
硅谷101訪談Scale AI後訓練與評測研究員何允中及ALE研究者孫一鈾,探討AI數據行業的商業模式、評測與數據供應變化。訪談指出,交付物正由人工標註和評分細則,擴展至包含任務、工具、執行環境和驗證機制的智能體環境。受訪者亦談到垂直領域數據採購、專家提交材料的核驗,以及評測基準與售賣訓練數據之間的界線。
覓蜂科技推出具身數據眾包平台覓蜂派,文章指出其擴大數據規模仍受數據有效率、收益和儲存成本制約。平台任務報酬通常為每小時10至20元,設備日租為39元,推廣期為19元;純頭顯EGO數據的有效率約為10%至20%。文章並比較Figure AI的Index與自動駕駛數據眾包經驗,討論數據規模能否轉化為訓練價值及可持續的生意。
General Intuition 完成 2.2 億美元融資,投後估值達 62 億美元,並嘗試把 Medal 累積的遊戲影片及玩家操作數據轉化為機械人訓練資料。
Recraft 團隊從零訓練 Recraft V3,並稱模型可在圖像中生成長篇文字。Recraft V3 在 Artificial Analysis 的 Hugging Face Text-to-Image Model Leaderboard 排名第 1,ELO 評分為 1172。模型以文字版面圖作為額外條件,並在訓練和推理階段提供給圖像生成模型;版面可手動設定或由模型生成。
SkillForge 提出一種智能體強化學習方法,透過動態技能生命週期管理技能庫,令技能與模型在訓練中共同演化。該方法在多個互動式智能體基準測試中取得最高整體成功率,較最強基線相對提升最高達 7.8%;研究亦推出 SkillFurnace 數據集,收錄 5k+ 條已註釋記錄。
Tetris3D 提出單張影像 3D 場景重建框架,根據周圍物件的幾何形狀及物理關係生成物件,令場景中的形狀和位置保持合理。研究亦推出包含 1.2M 個場景的 ComOb 數據集;實驗顯示,Tetris3D 在生成品質和物理穩定性方面均達到最先進水平。
AdSpark 提出以產品為核心的廣告影片生成數據集 AdSpark-300K 及評測基準 AdSpark-Bench。AdSpark-300K 包含約 300K 組參考圖片、提示詞與影片三元組;AdSpark-Bench 從六個維度評估生成廣告。評測顯示,模型在產品保留、多鏡頭敍事及賣點呈現方面仍面臨挑戰,數據集將於論文獲接收後發布。
白宮宣佈,特朗普將於週四向埃隆·馬斯克、黃仁勳、蘇姿豐及謝爾蓋·布林頒授國家科學獎章,並向邁克爾·戴爾和薩提亞·納德拉頒授國家技術與創新獎章。白宮亦推進「創世紀任務」,將科研加速機制擴展至超過15個聯邦機構,並爭取科技企業承諾超過10億美元,聯邦機構則投入1億多美元研發 AI 科研工具。
研究提出長上下文混合模型的運作機制,探討全注意力與滑動窗口注意力或線性注意力混合模型的設計及長上下文表現。研究發現,線性注意力混合模型較受益於長上下文持續預訓練,而滑動窗口注意力混合模型較擅長長度外推。滑動窗口線性注意力可在 64k 上下文長度的 NIAH-SK1 維持 100% 準確率,並達成 16 倍無需訓練的長度外推。
研究提出 Semi-OPD,以初始學生模型生成的離線 rollout 進行蒸餾,往往比 OPD 更準確、訓練效率更高。在 17 組涵蓋 1.5B 至 235B 參數的教師—學生配對中,Semi-OPD 有 14 組勝出,準確度最高提升 +13.6%,訓練速度提升 11.4x。OPD 僅在教師與學生高度對齊、輸出 token 重疊率高時有利。
研究顯示,千問(Qwen)模型可透過生成重播資料,減少持續指令微調中對任務庫以外能力的遺忘。結合不完整任務庫,比單一任務庫更能保留先前答對的答案;按新任務選擇重播目標,在 4B 模型上亦優於隨機選擇,較小模型則未見相同優勢。固定示例預算下,以重播取代新任務示例可提升保留效果,但新任務增益較小。
Universal Textual Teaching(UTT)提出一種無需更新參數的知識蒸餾框架,把 Teacher 與 Student 的知識差距整理成可解讀、可重用的自然語言教學材料 Primer。
SoftwareGym 提出一套自動化流程,合成具多元介面、可執行功能及經運行時驗證的 GUI 軟件環境,以擴展電腦操作智能體(CUA)訓練。研究團隊合成了涵蓋十二個類別的 182 個應用程式,平均 GUI 任務通過率為 91.5%,並建立包含 120 項任務的 SoftwareGym-Bench。
WorkForge 從真實資源合成可驗證的工作智能體環境,支援長時程互動與可追溯的結果核驗。研究團隊建構了 16.7K 個涵蓋 40 個專業領域、60 種檔案類型的環境;以此進行後訓練後,Qwen3.5-35B-A3B-Base 的 GDPVal 由 45.5 升至 73.6,APEX Score 由 5.0 升至 21.3。論文目前已撤回。
DiffusionART 提出一種擴散模型線上強化學習方法,透過聚合每個提示詞的獎勵改善方向,實現高效穩定的訓練。在 HunyuanVideo-13B 上,DiffusionART 達到 DiffusionNFT 和 Flow-GRPO-Fast 後期平均獎勵水平所需的 GPU 小時分別少 12.02 倍和 11.72 倍,平均訓練獎勵則分別高 28.8% 和 53.0%。
Biohub 正協調一項總額 $1.8 billion 的計劃,整合數據、實驗室設備與算力,建立可預測細胞行為的 AI 模型,以期加快藥物開發。
Epoch AI 公佈 InnovationEval 初步結果,評估 AI 能否端到端發現媲美人類研究成果的機器學習創新。Claude Fable 5 和 GPT-5.6 Sol 的 GPU 開支分別約為 $6,700 和 $14,000,仍未接近 on-policy self-distillation 的表現;兩者之中只有 GPT-5.6 Sol 帶來小幅提升。
a16z 投資 Preference Model,該團隊為 AI 研究及 ML 工程任務建設強化學習環境。團隊本週開源 Karotte,這套框架可找出模型弱點、生成針對性任務,並以嘗試攻破環境的智能體進行測試。Karotte 設有終止評分前殘留程序、拒收可能令評分器崩潰的檔案等防護,並經逾 1,000,000 次評估運行及受控紅隊測試。
Sherpa 是一個多輪強化學習框架,透過模擬不同學習偏好的學生類型,訓練 LLM 教師按學生的學習成效調整教學。經 Sherpa 訓練的教師模型,令各類學生的表現平均提升 20.5 個百分點,MathTutorBench 教學評分由 52.5% 升至 79.2%。人類研究中,受訓教師在 79.6% 的配對比較中獲選勝過基礎模型。
Ai2 將 Bolmo 背後的字節級語言模型研究發表於 Nature,並在 Hugging Face 發佈擴展至其他模型家族的新檢查點。研究將 byteifying 應用於 Qwen 3 8B 和 Llama 3 8B,建立 Bwen 8B 和 BlamaLlama-B 8B;兩者表現接近各自的原模型,而 Bwen 8B 在整體評測中勝過 Bolmo 7B。
Google DeepMind、Meta 與 Isomorphic Labs 將共同向 Biohub 投資 $300 million,支持建立 AI 數據集,讓研究人員以數碼方式提出、預測及回答生物學問題。
TechCrunch Disrupt 2026 公佈完整互動圓桌會議議程,涵蓋 AI、融資、招聘、企業軟件及實體 AI 等議題。活動將於 10 月 13 至 15 日在三藩市 Moscone West 舉行,預計迎來 10,000+ 名創辦人、投資者、營運者及科技領袖。
HiPHI 是一套針對高精度人體動作與物件互動的大規模數據集,並設有評估動作多樣性和互動 grounding 的基準套件。數據集以光學動作捕捉取得,收錄 617.5 小時全身人體動作,精度達亞毫米級,其中 245.7 小時為包含同步物件軌跡及網格的人體與物件互動數據,並以 FrameNet 組織動作範圍。白皮書亦報告以該數據集訓練的策略部署到實體 Unitree G1 人形機械人上的結果。
大語言模型與數據投毒被武器化以製造共識;所提供正文未交代相關操作方式、案例、依據或其他具體資料。
研究團隊從 Nemotron 3 出發,結合 SFT、RL 和回饋式推理建立專項系統,在 IOI 2026 得 535.4/600,高於金牌門檻 361.12;在 IMO 2026 得 30/42,高於金牌門檻 29。
推薦理由:文章並列 IOI 與 IMO 的資料、微調方法及推理流程,呈現專項模型如何配合生成、驗證與修訂環節應對兩類競賽任務。
Sharon Zhou 以 Qwen2.5-1.5B 示範如何串接 SFT、獎勵模型訓練與 PPO,構建一條經典 ChatGPT 後訓練流程。SFT 使用 torchtune,獎勵模型使用 TRL 的 RewardTrainer,PPO 則使用 verl;訓練至少需要 2 張 GPU,總 GPU 記憶體約 80 GB。
Emmerich Newspapers 等美國地方媒體起訴 Microsoft 和 OpenAI,指控兩家公司未經授權使用數萬篇版權文章訓練 AI 模型。原告稱兩家公司已透過相關內容賺取數十億美元,而出版商未分得任何款項;他們亦指控兩家公司繞過付費牆等限制。原告要求損害賠償,並請求法院頒布禁令,刪除模型中的侵權訓練資料。
NeMo-DCR 以增量壓縮方式同步模型權重,接收端取得的參數和緩衝區位元與完整權重同步一致。對 30B-1T 模型,即使權重變動率為 3% 或 5%,速度仍比完整檢查點傳輸快 12-40 倍;1T 模型在 3% 變動率下需時 150 s,完整傳輸則需 87.5 min。
這項研究發現,跨分詞器 On-Policy 蒸餾中,嚴格 1:1 對齊已涵蓋大部分學生模型生成的 token。只在嚴格對齊位置,對共享詞彙中由學生模型選出的 top-16 子集計算反向 KL,準確率與使用完整共享詞彙相若,並勝過受測基線。加入跨度對數概率的均方誤差監督雖可完整覆蓋監督位置,卻會降低準確率。