跳到正文
10月9日週五
  1. HuggingFace Daily Papers(社區熱門論文)48

    DSReg: Provably Recovering Individual World Latents without Reconstruction

    DSReg 在 Structural Diversity 條件下,無需重建、解碼器或標籤,即可恢復個別世界潛變量,結果僅差符號置換。它可後置套用於任何線性可辨識表示,重用已訓練檢查點,且效果不遜於聯合訓練。測試顯示,DSReg 保留密集預測能力,同時提升個別潛變量恢復及下游應用表現。

  2. Latent Space51

    Periodic Labs 的 Liam Fedus 與 Ekin Dogus Cubuk 探討「合成超級智能」及從半導體到超導體

    Periodic Labs 的 Liam Fedus 與 Ekin Doğuş Çubuk 在訪談中闡述「合成超級智能」願景,主張結合強化學習、模擬和真實世界實驗推進材料發現。他們指出,材料探索須經歷預測、合成和表徵,且實驗數據存在噪聲、不確定性和資訊缺漏。訪談亦討論模擬與實驗如何互補,以及科研過程和失敗實驗對模型訓練的價值。

  3. HuggingFace Daily Papers(社區熱門論文)38

    Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts

    Δ-MOPD 將教師相對於基礎模型的 logit 偏移重新錨定至學生的凍結初始化,用於多教師 on-policy 蒸餾,並與端點監督作比較。三位教師組合時,Δ-MOPD 的 Math 高 4.11 分、五項基準高 1.95 分;分階段路由時,平均表現較高,觀察到的順序差距由 10.50 分降至 6.42 分。結果顯示,目標構建方式是多教師蒸餾中獨立於教師選擇的設計因素。

10月8日週四
  1. Zyphra Research52

    Zyphra Research 研究利用 MoE 專家耦合降低預訓練通訊開銷

    Zyphra Research 提出兩種利用 MoE 路由相關性的系統優化方法,以降低分散式預訓練中的 GPU 通訊開銷,且不改變模型架構或路由決策。方法包括把經常由同一 token 選中的專家放在同一 GPU,以及根據前層路由預測下一層專家並移動 token;後者可併入原有 reduce-scatter,不增加網絡流量。

  2. HuggingFace Daily Papers(社區熱門論文)40

    以純量伴隨匹配進行 Q-learning

    研究提出 Q-learning with Scalar Adjoint Matching(SQAM),結合純量伴隨匹配與政策生成動作上的價值懲罰,以微調 flow policy。在 OGBench 最具挑戰的四個領域,SQAM 的成功率較各領域最強基線高 18 至 35 個百分點。在真實雙臂機械人上微調視覺語言動作政策時,SQAM 在全部三項任務的表現均優於監督式微調。

  3. MIT Technology Review · AI64

    AI 機械人突破短期內難以改變日常生活

    AI 機械人研究雖有進展,但現有系統仍難以泛化至訓練資料以外的任務,可靠度亦不足,短期內難以改變日常生活。Physical Intelligence 的 π0.7 曾嘗試把番薯放入氣炸鍋,但訓練資料中已有少量相關遙操作示範,而且機械人未能完整完成任務。目前的實際部署仍限於受控環境中的簡單工作,示範中的成功率提升也未必代表機械人已能可靠地在家庭或工廠使用。

  4. Reflection Blog65

    Reflection 公佈打造前沿開放智能的下一階段計劃

    Reflection 宣佈進入下一階段,致力打造人人可用的前沿開放智能,並已組建 AI 團隊、建立前沿 LLM 訓練平台及籌得 $2 billion。其大規模 LLM 與強化學習平台可訓練前沿規模的 MoE 模型,公司正把相關方法由自主編碼拓展至通用智能體推理。公司亦表示會在發佈前評估模型能力與風險,投入安全研究,並制定負責任部署標準。

  5. Cartesia 產品與研究57

    Mamba-3B-SlimPJ 發佈,訓練 FLOPs 少 17% 並匹配同級 Transformer

    Cartesia 與 Together 發佈 Mamba-3B-SlimPJ,這款 2.8B 參數模型以 600B tokens 訓練,採 Apache 2.0 授權。它以少 17% 訓練 FLOPs,達到 BTLM-3B-8K 等強勁 3B Transformer 的模型品質。訓練使用 SlimPajama 數據集、上下文長度為 2048,模型亦可作為實驗及聊天和指令微調模型的基礎。

  6. Cartesia 產品與研究47

    Hierarchical modeling

    Cartesia 宣佈與研究夥伴合作研究階層式網絡 H-Net,這種新架構能直接從原始數據建模層級,並透過動態分塊機制把數據切分及壓縮成有意義的概念。H-Net 在語言建模中比採用 BPE tokenization 的最先進 Transformer 更能隨數據擴展,且在中文、程式碼和 DNA 等沒有自然 token 邊界的領域優勢更明顯。

  7. 創業邦56

    誰在為大模型出題、賣題和判卷?AI 數據行業的野蠻生長

    硅谷101訪談Scale AI後訓練與評測研究員何允中及ALE研究者孫一鈾,探討AI數據行業的商業模式、評測與數據供應變化。訪談指出,交付物正由人工標註和評分細則,擴展至包含任務、工具、執行環境和驗證機制的智能體環境。受訪者亦談到垂直領域數據採購、專家提交材料的核驗,以及評測基準與售賣訓練數據之間的界線。

  8. 創業邦54

    覓蜂科技能否跑通具身智能界的「美團」模式?

    覓蜂科技推出具身數據眾包平台覓蜂派,文章指出其擴大數據規模仍受數據有效率、收益和儲存成本制約。平台任務報酬通常為每小時10至20元,設備日租為39元,推廣期為19元;純頭顯EGO數據的有效率約為10%至20%。文章並比較Figure AI的Index與自動駕駛數據眾包經驗,討論數據規模能否轉化為訓練價值及可持續的生意。

  9. Recraft 自有模型與設計產品55

    Recraft 團隊分享如何打造 SOTA 含文字圖像生成模型 Recraft V3

    Recraft 團隊從零訓練 Recraft V3,並稱模型可在圖像中生成長篇文字。Recraft V3 在 Artificial Analysis 的 Hugging Face Text-to-Image Model Leaderboard 排名第 1,ELO 評分為 1172。模型以文字版面圖作為額外條件,並在訓練和推理階段提供給圖像生成模型;版面可手動設定或由模型生成。

  10. HuggingFace Daily Papers(社區熱門論文)37

    SkillForge:以動態技能生命週期促進技能與智能體共同演化

    SkillForge 提出一種智能體強化學習方法,透過動態技能生命週期管理技能庫,令技能與模型在訓練中共同演化。該方法在多個互動式智能體基準測試中取得最高整體成功率,較最強基線相對提升最高達 7.8%;研究亦推出 SkillFurnace 數據集,收錄 5k+ 條已註釋記錄。

  11. HuggingFace Daily Papers(社區熱門論文)45

    AdSpark:以產品為核心的廣告影片生成大型數據集與評測基準

    AdSpark 提出以產品為核心的廣告影片生成數據集 AdSpark-300K 及評測基準 AdSpark-Bench。AdSpark-300K 包含約 300K 組參考圖片、提示詞與影片三元組;AdSpark-Bench 從六個維度評估生成廣告。評測顯示,模型在產品保留、多鏡頭敍事及賣點呈現方面仍面臨挑戰,數據集將於論文獲接收後發布。

  12. 虎嗅55

    特朗普將向馬斯克、黃仁勳等頒授美國國家科學獎章,白宮推動科研體制重整

    白宮宣佈,特朗普將於週四向埃隆·馬斯克、黃仁勳、蘇姿豐及謝爾蓋·布林頒授國家科學獎章,並向邁克爾·戴爾和薩提亞·納德拉頒授國家技術與創新獎章。白宮亦推進「創世紀任務」,將科研加速機制擴展至超過15個聯邦機構,並爭取科技企業承諾超過10億美元,聯邦機構則投入1億多美元研發 AI 科研工具。

  13. HuggingFace Daily Papers(社區熱門論文)41

    Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

    研究提出長上下文混合模型的運作機制,探討全注意力與滑動窗口注意力或線性注意力混合模型的設計及長上下文表現。研究發現,線性注意力混合模型較受益於長上下文持續預訓練,而滑動窗口注意力混合模型較擅長長度外推。滑動窗口線性注意力可在 64k 上下文長度的 NIAH-SK1 維持 100% 準確率,並達成 16 倍無需訓練的長度外推。

  14. HuggingFace Daily Papers(社區熱門論文)46

    何時需要 On-policy 蒸餾?以學生模型離線 rollout 蒸餾往往更佳

    研究提出 Semi-OPD,以初始學生模型生成的離線 rollout 進行蒸餾,往往比 OPD 更準確、訓練效率更高。在 17 組涵蓋 1.5B 至 235B 參數的教師—學生配對中,Semi-OPD 有 14 組勝出,準確度最高提升 +13.6%,訓練速度提升 11.4x。OPD 僅在教師與學生高度對齊、輸出 token 重疊率高時有利。

  15. HuggingFace Daily Papers(社區熱門論文)38

    語言模型如何保留自身能力

    研究顯示,千問(Qwen)模型可透過生成重播資料,減少持續指令微調中對任務庫以外能力的遺忘。結合不完整任務庫,比單一任務庫更能保留先前答對的答案;按新任務選擇重播目標,在 4B 模型上亦優於隨機選擇,較小模型則未見相同優勢。固定示例預算下,以重播取代新任務示例可提升保留效果,但新任務增益較小。

  16. HuggingFace Daily Papers(社區熱門論文)48

    SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments

    SoftwareGym 提出一套自動化流程,合成具多元介面、可執行功能及經運行時驗證的 GUI 軟件環境,以擴展電腦操作智能體(CUA)訓練。研究團隊合成了涵蓋十二個類別的 182 個應用程式,平均 GUI 任務通過率為 91.5%,並建立包含 120 項任務的 SoftwareGym-Bench。

  17. HuggingFace Daily Papers(社區熱門論文)38

    Scaling Verifiable Environments for Long-horizon Work Agents

    WorkForge 從真實資源合成可驗證的工作智能體環境,支援長時程互動與可追溯的結果核驗。研究團隊建構了 16.7K 個涵蓋 40 個專業領域、60 種檔案類型的環境;以此進行後訓練後,Qwen3.5-35B-A3B-Base 的 GDPVal 由 45.5 升至 73.6,APEX Score 由 5.0 升至 21.3。論文目前已撤回。

  18. HuggingFace Daily Papers(社區熱門論文)46

    DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

    DiffusionART 提出一種擴散模型線上強化學習方法,透過聚合每個提示詞的獎勵改善方向,實現高效穩定的訓練。在 HunyuanVideo-13B 上,DiffusionART 達到 DiffusionNFT 和 Flow-GRPO-Fast 後期平均獎勵水平所需的 GPU 小時分別少 12.02 倍和 11.72 倍,平均訓練獎勵則分別高 28.8% 和 53.0%。

  19. a16z:News60

    a16z 投資 Preference Model

    a16z 投資 Preference Model,該團隊為 AI 研究及 ML 工程任務建設強化學習環境。團隊本週開源 Karotte,這套框架可找出模型弱點、生成針對性任務,並以嘗試攻破環境的智能體進行測試。Karotte 設有終止評分前殘留程序、拒收可能令評分器崩潰的檔案等防護,並經逾 1,000,000 次評估運行及受控紅隊測試。

  20. HuggingFace Daily Papers(社區熱門論文)45

    Sherpa:訓練 LLMs 因材施教

    Sherpa 是一個多輪強化學習框架,透過模擬不同學習偏好的學生類型,訓練 LLM 教師按學生的學習成效調整教學。經 Sherpa 訓練的教師模型,令各類學生的表現平均提升 20.5 個百分點,MathTutorBench 教學評分由 52.5% 升至 79.2%。人類研究中,受訓教師在 79.6% 的配對比較中獲選勝過基礎模型。

10月7日週三
  1. IEEE Spectrum44

    HiPHI:高精度人體動作與物件互動的大規模基準測試

    HiPHI 是一套針對高精度人體動作與物件互動的大規模數據集,並設有評估動作多樣性和互動 grounding 的基準套件。數據集以光學動作捕捉取得,收錄 617.5 小時全身人體動作,精度達亞毫米級,其中 245.7 小時為包含同步物件軌跡及網格的人體與物件互動數據,並以 FrameNet 組織動作範圍。白皮書亦報告以該數據集訓練的策略部署到實體 Unitree G1 人形機械人上的結果。

  2. Hugging Face Blog75

    Nemotron 微調在 IOI 2026 和 IMO 2026 達金牌水平

    研究團隊從 Nemotron 3 出發,結合 SFT、RL 和回饋式推理建立專項系統,在 IOI 2026 得 535.4/600,高於金牌門檻 361.12;在 IMO 2026 得 30/42,高於金牌門檻 29。

    推薦理由:文章並列 IOI 與 IMO 的資料、微調方法及推理流程,呈現專項模型如何配合生成、驗證與修訂環節應對兩類競賽任務。

  3. IT之家55

    Microsoft、OpenAI 遭美國多家地方媒體起訴,被指侵犯版權

    Emmerich Newspapers 等美國地方媒體起訴 Microsoft 和 OpenAI,指控兩家公司未經授權使用數萬篇版權文章訓練 AI 模型。原告稱兩家公司已透過相關內容賺取數十億美元,而出版商未分得任何款項;他們亦指控兩家公司繞過付費牆等限制。原告要求損害賠償,並請求法院頒布禁令,刪除模型中的侵權訓練資料。

  4. HuggingFace Daily Papers(社區熱門論文)46

    NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

    NeMo-DCR 以增量壓縮方式同步模型權重,接收端取得的參數和緩衝區位元與完整權重同步一致。對 30B-1T 模型,即使權重變動率為 3% 或 5%,速度仍比完整檢查點傳輸快 12-40 倍;1T 模型在 3% 變動率下需時 150 s,完整傳輸則需 87.5 min。

  5. HuggingFace Daily Papers(社區熱門論文)42

    Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

    這項研究發現,跨分詞器 On-Policy 蒸餾中,嚴格 1:1 對齊已涵蓋大部分學生模型生成的 token。只在嚴格對齊位置,對共享詞彙中由學生模型選出的 top-16 子集計算反向 KL,準確率與使用完整共享詞彙相若,並勝過受測基線。加入跨度對數概率的均方誤差監督雖可完整覆蓋監督位置,卻會降低準確率。