跳到正文
10月7日週三
  1. HuggingFace Daily Papers(社區熱門論文)45

    TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

    TRACE 提出用於 MoE 語言模型強化學習訓練的 FP4 量化框架,利用 rollout 端的量化結果引導訓練端的 FP4 捨入決策,以減少兩條執行路徑之間的差異。評測顯示,TRACE 可同時採用 FP4 權重、激活值及 FP4 KV-cache 進行 rollout,強化學習表現與 BF16 rollout 相若,rollout 速度最高提升 5.4x。

  2. HuggingFace Daily Papers(社區熱門論文)43

    Personal-Agent Mediated Recommendation with Cross-Platform User History

    研究提出「個人智能體中介推薦」框架,由平台推薦系統根據平台內資料排序候選項目,再由個人智能體運用用戶授權的跨平台歷史資料調整排名,產生最終推薦清單。研究推出 MediateRec 基準,並提出 Personal Attribution Mediation Optimization(PAMO)訓練方法。

  3. MarkTechPost64

    Laya 開發者指南:零樣本決策與校準

    MarkTechPost 的指南以 CLINC150 銀行意圖資料測試 Laya,在 15 個意圖的零樣本分類中取得 0.878 準確率。使用意圖名稱而非自訂描述,準確率由 0.804 升至 0.878;温度校準將 ECE 由 0.102 降至 0.059,但以驗證資料設定為 5% 錯誤率的拒答門檻,在測試集的錯誤率為 9.2%。

  4. HuggingFace Daily Papers(社區熱門論文)40

    EmbodiedSmith:透過模擬中的遞迴自我改進飛輪擴展具身數據

    EmbodiedSmith 提出一套模擬框架,透過遞迴自我改進擴展具身數據生成,並整合資產、場景和任務生成。其智能體改進循環讓場景與任務互相引導修訂,並支援移動操作機械人、人形機械人、靈巧手,以及涉及可變形物件和流體的互動。實驗顯示,增加數據多樣性可提升下游策略的泛化能力;框架亦可用於機械人預訓練和評估。

  5. Apple Machine Learning Research34

    RISED: Rubrics for Agentic Multi-Environment Selection and Self-Distillation

    RISED 提出一套方法,透過評分準則引導智能體在多個互動環境中的資料選擇與策略監督。LLM 評判員以跨環境共用的預設評分準則為每次 rollout 標記,協助選取資料;正向評分準則為 on-policy 自我蒸餾教師提供額外的 token 級監督,負向評分準則則引導後續生成避開反覆出現的失敗模式。不同模型骨幹的測試中,RISED 的跨環境平均通過率最高,且在每個個別環境均排名第一或第二。

  6. IT之家57

    中國科研團隊全球首次構建水稻全生命週期三維時空細胞圖譜

    中國多個科研機構合作完成的研究成果於10月6日晚在《細胞》(Cell)網上發表,研究團隊全球首次構建出涵蓋水稻由種子萌發至開花結實全過程的三維時空細胞圖譜。圖譜整合基因組測序、單細胞測序及空間轉錄組測序;團隊亦建成可供全球研究者使用的資料庫與水稻單細胞基礎模型,支援基因查詢、空間表達展示和比較分析。

  7. HuggingFace Daily Papers(社區熱門論文)42

    OpenESM:能量引導模型可擴展為基礎模型學習器

    OpenESM提出能量引導模型(ESM),把能量引導的潛在狀態最佳化與 token 生成整合於單一架構。研究以三個大型語料庫預訓練,並在 26 項下游任務評估;結果顯示 ESM 隨模型規模及訓練數據增加展現擴展性,且在大多數下游任務勝過 GPTs。研究團隊完整公開模型權重及訓練基礎設施,供社羣重現及延伸結果。

  8. HuggingFace Daily Papers(社區熱門論文)55

    On-Policy Distillation 能教會模型新技能,卻不傳授新知識

    這項研究發現,reverse-KL on-policy distillation(OPD)能把組合推理技能遷移至未見過的推理結構,但只轉移極少事實知識。在四個、來自三個模型家族的模型中,以 forward KL 取代 reverse KL 可恢復事實遷移,而學生模型 rollout 則提升多步推理的執行能力。

  9. HuggingFace Daily Papers(社區熱門論文)34

    SALD:擴散模型的自我參照優勢學習

    SALD 提出擴散模型的自我參照訓練框架,以同一模型在兩個噪聲水平評估圖像與文字説明配對,並按兩條路徑的誤差差異調整較難路徑的訓練目標。框架毋須外部教師網絡或額外可訓練參數,亦不修改推理程序。多種架構和數據集的實驗顯示,該方法持續提升生成質素。

  10. HuggingFace Daily Papers(社區熱門論文)41

    DScout:擴散草稿推測解碼的因子分解引導訓練與推理

    DScout 以兩種因子分解指導擴散草稿器的訓練與推理,提升推測解碼吞吐量。六個基準測試中,Qwen3-4B 和 Qwen3-8B 相對自回歸解碼的平均加速分別達 3.84 倍和 4.14 倍,較 SOTA 基線高 9.1% 和 7.1%。推理配置策略在不同模型及並發設定下,最高再帶來 9.75% 平均加速。

  11. ChinaTalk47

    軍事 AI 的難題在數據

    Bharat Patel 指出,數據是軍事 AI 的主要瓶頸,所需數據類型和質素取決於具體用途,因此「AI-ready data」並不存在。Project Maven 自 2017 年起面對缺乏相關目標數據的問題,團隊其後持續收集數據以建立有效模型。數據管道、標準、治理及測試評估,連同偽裝、欺騙、電子戰和數據投毒等威脅,均影響模型能否投入實地應用。

  12. The Decoder66

    JEPA-Anything 將 LeCun 的 JEPA 擴展為橫跨物理學與生物學的通用世界模型

    研究團隊提出 JEPA-Anything,將 JEPA 擴展至七個不同領域,並以四個相互正交的因素分別預測狀態,再重組成完整世界狀態。在 Pong 的定向幹預測試中,預測誤差下降 35%;對訓練中未見的幹預組合,誤差下降 13%。模型提出的 IL-18 與 CD73 阻斷組合,在類器官及腫瘤組織樣本中比單獨使用任一方法殺死更多腫瘤細胞;研究尚未確定這種組合能否成為實際療法。

10月6日週二
  1. HuggingFace Daily Papers(社區熱門論文)61

    Prior-Fitted Language Model(PFLM)學會從上下文推斷語言

    研究提出 300M 參數的 Prior-Fitted Language Model(PFLM),讓模型在凍結權重下從真實文本前綴推斷語言並預測後續內容。它只以合成的非語言先驗樣本預訓練;每條訓練序列均由從分佈中重新抽取的遞迴結構因果模型生成,因此模型未見過任何真實語言的詞,也不會在訓練中兩次遇到同一語言。

  2. HuggingFace Daily Papers(社區熱門論文)41

    Representation-Space MMD for Diffusion Language Models

    研究提出一種擴散語言模型的後訓練方法,在凍結的預訓練模型特徵空間中,最小化生成分佈與參考分佈之間的最大均值差異(MMD)。實驗顯示,該方法在 OpenWebText 上以相若熵值取得較低生成困惑度,並改善 GSM8K 的準確率與計算量取捨;在 16B DMax-LLaDA2.0 模型上,亦提高解碼並行度,數學及程式碼基準的準確率相若或更高。

  3. IT之家63

    韓國擬推 4.7 萬億韓元計劃,2027 年 3 月起研發前沿 AI 大模型

    韓國政府擬推出總規模 4.7 萬億韓元的專項計劃,自 2027 年 3 月起研發前沿 AI 大模型。計劃結合國家股權投資與民間資本,集中算力晶片、數據及人才;待國會於 12 月審議通過 2027 財年預算後,政府將透過競爭性招標遴選牽頭開發主體,中標方最早有望於次年 2 月敲定。這項新計劃獨立於現有本土基礎大模型研發項目;後者仍會推進,並於 2027 年 2 月第三階段評審中選出兩支最終開發團隊。

  4. 英國 AI Security Institute:Blog58

    英國 AI Security Institute 梳理能力日益增強的開放權重 AI 系統風險管理方法

    英國 AI Security Institute 概述開放權重通用 AI 系統的風險管理策略,涵蓋模型內防護、外部防護及程序措施。該機構指出,訓練資料篩選有助降低模型發佈風險,而具備完整模型存取權的審核可更準確評估風險,支援發佈決策。與 EleutherAI 及牛津大學合作的研究發現,從 LLM 訓練資料移除有害資料,抵禦對抗性微調的效果是訓練後加入防護的逾 10x,且未帶來顯著性能代價。

  5. 英國 AI Security Institute:Blog66

    AI Security Institute 聯同 Anthropic 及 Alan Turing Institute 探討大規模後門資料投毒

    AI Security Institute、Anthropic 與 Alan Turing Institute 的研究發現,少至 250 份文件便可能成功污染所有受測模型的訓練資料。研究以同一後門攻擊測試四種模型,參數量由 600M 至 13B;所需文件數沒有隨模型或資料集規模增加。這與過往認為攻擊者須污染一定比例資料才能成功的假設不同,研究指出投毒攻擊可能比先前認為更可行。

  6. Thinking Machines Lab:News60

    Thinking Machines Lab 推出 Tinker 微調 API,並開源 Tinker Cookbook

    Thinking Machines Lab 推出 Tinker,一個用於微調語言模型的彈性 API,並以託管服務處理分散式訓練。Tinker 支援多種大、小型開放權重模型,包括 Qwen-235B-A22B;開源 Tinker Cookbook 提供可在 Tinker API 上執行的後訓練方法實作。Tinker 目前處於研究者和開發者私人測試階段,初期免費,並將於未來數週引入按用量收費。

  7. Thinking Machines Lab:News39

    Tinker 徵集社羣項目

    Tinker 邀請開發者和研究人員提交社羣項目,並計劃定期在網誌刊出精選成果。徵集涵蓋機器學習研究、微調模型應用、產品原型、數據集及基礎設施;投稿應附研究説明,最好開源程式碼,並展示嚴謹評估和透明結果。

  8. elsewhere:文章74

    專業人士的新工作,是訓練 AI 取代自己

    AI 數據供應鏈正聘用受自動化影響的專業人士,讓他們撰寫評分細則、標準答案和推理軌跡,以訓練 AI 接手他們原本從事的工作。受訪者描述,Mercor 等平台的工作項目短促且不穩,並伴隨工作監控、保密限制及薪酬下調;加入 Nova 後,一個項目的工作內容未變,時薪卻減少 24%。報道亦討論這類獨立承包工作欠缺保障的問題,以及相關用工身份引發的訴訟。

  9. Cohere 產品與研究博客52

    Cohere 研究提出「文化漏斗」,指出訓練流程中的文化多樣性逐步收窄

    Cohere 分析超過 5.6 million 個涵蓋不同訓練階段的樣本,發現文化多樣性由預訓練進入後訓練時持續收窄。增加語言種類可擴大地理多樣性,但整體文化內容比例會趨於停滯。在 TinyAya base model 微調時加入文化標記後,NormAd、BBQ、GMMLU 分別提升 +8%、+6%、+2.3%,且一般多語能力未受損。