跳到正文
10月2日週五
  1. HuggingFace Daily Papers(社區熱門論文)34

    Beyond the Parameter Monolith: Reconstructive Memories, Executable Skills, and Residual Assembly for Language Models

    這項研究探索以無注意力機制的 Multi-Mesh 語言模型及模組化核心,分開研究語言模型的記憶、程序執行與上下文計算。模型以約 28.6 billion 個預測目標訓練;模組化核心約有半十億個參數,記憶在讀取審核中的 token 重構準確率約為 75%。研究團隊已釋出檢查點及部分研究程式碼,供檢視和進一步實驗。

  2. HuggingFace Daily Papers(社區熱門論文)38

    Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks

    研究提出檢索中心深度學習(RCDL),讓神經網絡在訓練期間為每個數據點儲存一組新的鍵值表示,並在推理時透過注意力機制檢索及重組。研究為基於徑向基函數(RBF)及類 softmax 核的核化注意力層建立功能梯度學習規則,並在圖像分類及合成教師-學生學習任務中展示其表現與學習效率。

  3. HuggingFace Daily Papers(社區熱門論文)38

    Harness-Aware Distillation for Small Language Model Agents

    Harness-Aware Distillation(HAD)聚焦蒸餾教師模型在 harness 之外提供的能力,讓小型語言模型智能體學習如何正確運用 harness 資訊。HAD 在 on-policy 蒸餾上加入動作偏好比較和有效性檢查,無需任務獎勵、成功標籤或未來資訊。多項長時程智能體基準測試顯示,在相同固定 harness 下,HAD 優於 on-policy 蒸餾基線。

  4. HuggingFace Daily Papers(社區熱門論文)45

    Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale

    研究在 1.7B 級模型中,以固定的 16 維二進制向量取代可訓練輸入嵌入表,並將向量按模型寬度重複,且不加入可訓練輸入投影。模型仍具備相當的語言建模能力,但可訓練輸入嵌入的對照模型在多項主要基準測試中表現較佳。詞彙表包含 49,152 個 token;每種介面只進行一次訓練,輸出頭仍可訓練。

  5. HuggingFace Daily Papers(社區熱門論文)45

    Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards

    研究提出一套結合偏好獎勵與評分規準獎勵的後訓練方法,用於開放領域文生圖模型,並以獎勵組合策略平衡偏好最佳化與規準滿足。在 Arena 文生圖排行榜上,經強化學習訓練的 Flux2dev 比基礎模型高 69 Elo 分,後訓練的 Ideogram-4 則以 1223.5 Elo 超越排行榜上的所有開源模型。研究亦釋出 Arena-T2I-Training,包含 1K 筆訓練資料子集。

  6. HuggingFace Daily Papers(社區熱門論文)47

    On-policy 知識蒸餾(OPD)的效能提升與崩潰:強化學習視角

    研究從強化學習角度指出,on-policy 知識蒸餾(OPD)可提升語言模型後訓練表現,但亦可能造成過長、重複的生成。OPD 放大教師隱含回饋偏好的學生行為;當偏好與品質不一致時,會出現 reward hacking,但不會擴展學生模型的能力。訓練時屏蔽不健康回應及採用 SFT 初始化,均可有效減輕崩潰。

  7. HuggingFace Daily Papers(社區熱門論文)46

    FastOPD: On-Policy Distillation for Lightweight VLA Deployment

    FastOPD 提出一套以高效策略內蒸餾將大型 VLA 模型部署到輕量化模型的框架。在 LIBERO 上,模型只需兩個推理步驟,便保留 π_{0.5} 84% 的效能,並將推理延遲降低 78.1%。以 LingBot-VLA 為教師模型時,FastOPD 在 RoboTwin 2.0 上的單步成功率較基礎學生模型高 15.9 個百分點。

  8. HuggingFace Daily Papers(社區熱門論文)53

    相同輸出,不同參考標註:衡量參考選擇如何改變多語言基準分數

    這項研究在一項涵蓋六種語言、針對個人身份識別資訊的基準測試中,量度更換參考標註對固定系統輸出評分的影響。更換參考標註後,兩個輸出的 F1 分數分別變動 4.95 和 2.00 點,最差語言變動 7.55 點;兩個輸出的配對交互效應為 +2.95 點。研究將差異追溯至未記錄的彙總預設,並展示如何用既有標註紀錄計算參考敏感度區間,建議把它與分數一併報告。

  9. HuggingFace Daily Papers(社區熱門論文)42

    COSMI: COmpositional Synthesis of Multi-object Interactions

    COSMI結合由單物體捕捉組成的數據集與文字轉交互模型,用於生成多物體人與物件交互。數據集包含222k段序列、275小時的數據,最多涵蓋5件物件,規模接近最大的已捕捉多物體數據集的30倍。30M參數的擴散 Transformer 在基準測試中於文字對齊和接觸準確度領先,尤其在未見物件上;程式碼、模型和數據集流程將會發布。

10月1日週四
  1. elsewhere:文章42

    苦澀的教訓

    Richard Sutton 在《苦澀的教訓》中指出,長期而言,能持續利用更多計算的通用方法往往勝過人工編碼的領域知識。國際象棋、圍棋、語音識別和電腦視覺的發展都呈現相似轉變。文章強調,搜索和學習是能隨算力增加而持續進步的核心方法。

  2. HuggingFace Daily Papers(社區熱門論文)33

    iADD:改善擴散策略最佳化中的對齊與多樣性

    iADD 提出以增量 Feynman-Kac 訓練為基礎的擴散模型策略最佳化方法,以改善對齊與多樣性的取捨。理論分析指出,僅更新較後期時間步可能損害多樣性,與先前研究的結論相反。研究在三項不同任務中將方法與相關方法比較,並以各組件消融實驗驗證其在對齊和多樣性方面均有性能提升。

  3. HuggingFace Daily Papers(社區熱門論文)40

    The Missing Primitive: Diagnosing and Repairing Mathematical Reasoning in Large Language Models

    研究提出「數學原語」概念及一項基準,用四個維度評估大型語言模型的數學推理,並以原語優先自蒸餾框架修復推理失誤。診斷發現,Discovery 是主要瓶頸,解題準確率亦會掩蓋不同的能力組合。實驗顯示,該框架在不同模型規模及具挑戰性的基準上,均較基線改善數學推理表現。

  4. HuggingFace Daily Papers(社區熱門論文)51

    DMAD:以對抗蒸餾進行分佈匹配,實現快速視覺生成

    論文提出 DMAD,以判別器分類方式進行分佈匹配蒸餾,直接學習對數密度比,省去輔助分數擬合。在 ImageNet-64x64 上,DMAD 一步生成的 FID 為 1.04;四步 SDXL 在 COCO-10K 的 FID 為 14.47,四步 Wan2.1-T2V-14B 的 VBench 總分為 85.15,均為文中比較的少步方法及多步教師模型中的最佳成績。

  5. HuggingFace Daily Papers(社區熱門論文)52

    生物推理模型何時會使用生物輸入?

    研究測試六種涵蓋 DNA、蛋白質及單細胞任務的生物推理模型,發現不同模型對生物基礎模型表示及生物文本的依賴程度不一。Evo2 和 ESM3 對 BioReason 及 BioReason-Pro 的評測表現貢獻有限;證據衝突時,兩者分別在 97.9% 和 99.7% 的情況下跟隨文本,而非生物基礎模型表示。

9月30日週三
  1. elsewhere:文章55

    數據公司個個都太神了

    數據公司估值快速攀升,成立未滿一年的公司中已有 UniPat 估值達25億美元,另有若干家公司估值3-8億美元。數據商透過採集專家解題軌跡,或製作包含任務、運行環境和評分準則的 RL environment,為模型提供訓練材料;文章指出模型公司現時更重視數據交付的速度、數量和供應商關係。這個行業尚無公認驗收標準,模型公司通常先抽檢,再從小額訂單逐步建立合作信任。

  2. HuggingFace Daily Papers(社區熱門論文)48

    Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics

    研究指出,基於評分規準的強化學習以加權總和匯總各項評分時,模型可能透過不相關建議補回關鍵決策失誤的分數,出現評分提高、回答品質下降。研究提出 Protocol-Level Rubrics(ProRubric),將評分項目分組,只有同組條件全部符合且未觸發失敗條款才計分。ProRubric 提高回答適切度 10.8 分而不損失覆蓋率,並在兩種規模下取得七項基準的最高平均分。

  3. HuggingFace Daily Papers(社區熱門論文)45

    ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation

    ReSAIL 以軌跡平衡選擇性蒸餾和特權資訊保留兩項組件,緩解迭代式智能體自我蒸餾中的崩塌。使用 Qwen3-4B 和 Qwen3-8B,在 ALFWorld 和 TextCraft 上連續三個部署週期維持效能提升;第三個週期的成功率平均較相應 SDPO/OEL 基線高 22.5 個百分點。程式碼、訓練及評估腳本和模型檢查點均已公開。

  4. HuggingFace Daily Papers(社區熱門論文)47

    Source Identification Is Not Fitness Testing: Measuring the Limits of Synthetic-Data Attribution

    一項以金融風險文本進行的研究發現,生成內容的來源歸因準確率由原文的 98.7%,在改寫後降至 53.1%,風格重寫後則降至 29.0%。研究比較按來源資訊及參考模型評分選取生成樣本,未檢測到兩種方法對模型退化造成穩定差異,顯示辨認數據來源與判斷其訓練價值是不同問題。

  5. HuggingFace Daily Papers(社區熱門論文)44

    JEPA-TTT:動力學轉變下用於規劃的潛在世界模型持續測試時訓練

    JEPA-TTT 透過在測試期間持續自我監督更新預訓練世界模型的潛在動力學預測器,適應測試時與訓練時不同的環境動力學。在 4 個連續控制環境的 8 種動力學轉變中,JEPA-TTT 均改善規劃表現;經 500 個測試回合後,潛在自回歸預測誤差平均降低 83%,規劃表現較凍結的 JEPA 世界模型提升 153%。

9月29日週二
  1. Hugging Face Blog65

    NVIDIA Kumo Tabular 為表格預測樹立準確率與效率的新前沿

    NVIDIA 發佈開放式表格基礎模型 Kumo Tabular,用於表格分類與回歸,可根據帶標籤的上下文列,在單次前向傳播中預測新列標籤,無需訓練、調參或特徵工程。

    推薦理由:文章列出四項基準的結果,並以梯度提升樹、AutoGluon 等方法作對照,為表格預測模型的效能評估提供具體比較參照。

  2. 上海人工智能實驗室 InternLM:原創項目45

    InternLM/ResOPD

    ResOPD 提出一種稀疏 on-policy 知識蒸餾方法,利用教師模型的 Top-k 機率精確計算粗略梯度,並只對尾部殘差取樣,無需額外教師前向傳播。論文報告,在數學推理任務中,Qwen3.5-27B 蒸餾至 Qwen3.5-4B 的平均分為 50.12%,高於 HETS 的 45.72%。程式庫提供核心實作及與 verl 的整合。

  3. HuggingFace Daily Papers(社區熱門論文)41

    CrossTimeEdit:跨越十年的跨視角數據集與獎勵引導編輯,用於歷史街景生成

    研究團隊構建 VIGOR-his 數據集,並提出 CrossTimeEdit,以獎勵引導編輯生成歷史街景。數據集涵蓋三大洲 11 個城市的 43,653 個位置級四元組;CrossTimeEdit 在三項編輯準則上的整體表現較預訓練基線提升 17.12%。程式碼、數據集及模型權重均已提供。

  4. HuggingFace Daily Papers(社區熱門論文)47

    PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning

    PR-OPD 是一種面向智能體強化學習的在策略自我蒸餾方法,透過對齊策略自身回應的隱藏狀態來利用技能資訊。在 ALFWorld 和 WebShop 的所有測試設定中,PR-OPD 均取得最佳整體結果,較 GRPO 分別最多提升 4.7 個百分點和 14.0 個百分點。此方法以 GRPO 預熱,無需外部技能庫或獨立教師,也沒有推理開銷。

  5. HuggingFace Daily Papers(社區熱門論文)37

    OPMD:超越輸出監督的在策略機制蒸餾

    研究提出在策略機制蒸餾(OPMD),將與學生架構相容的教師模型中間計算納入蒸餾,使監督由輸出延伸至機制層面。在三種教師—學生設定中,OPMD 的平均準確率均居受評蒸餾基線之首,並可推廣至多教師蒸餾及跨系列監督式微調。

  6. HuggingFace Daily Papers(社區熱門論文)44

    不止提示詞數量:數據如何影響在策略蒸餾中的遷移

    研究發現,在策略蒸餾(OPD)的遷移效果受提示詞數量、來源和選擇影響,提示詞效用亦取決於教師—學生模型組合及目標任務。僅以“What is 1+1?”作為訓練提示詞,Qwen3-4B 的數學評分由 15.47% 升至 47.93%,接近教師的 48.33%;訓練仍包含反覆學生生成和教師監督。均勻隨機抽樣仍具競爭力,針對性選取未能持續改善遷移效果。

9月28日週一
  1. Rest of World59

    南韓 AI 記憶體晶片巨頭 Samsung 與 SK Hynix 競逐美國 AI 熱潮中的更大角色

    Samsung 與 SK Hynix 正深化與美國企業的合作,爭奪美國 AI 基建供應鏈中更重要的位置;兩家公司合計控制全球 83% 的記憶體晶片市場。過去一年,Samsung 的市場份額增至兩倍以上,並與 Nvidia、OpenAI 建立新合作;SK Hynix 則在印第安納州興建 $4 billion 先進封裝設施。

  2. MIT News66

    MIT研究團隊利用AI算法開發耐高温RNA疫苗配方

    MIT研究團隊利用AI算法優化脂質納米粒(LNP)配方,提升RNA疫苗耐熱穩定性。新配方使疫苗在室温下穩定保存一年,或在37°C(98°F)保存兩個月;接種這些顆粒的小鼠產生了與使用類似Moderna原配方疫苗的小鼠相當的免疫反應。研究人員以算法分析近50種FDA批准賦形劑,從五種候選物中迭代預測配比,經數輪細胞測試後在數週內選出供動物測試的配方。

  3. HuggingFace Daily Papers(社區熱門論文)36

    Data Unlearning via Inverse Distillation

    IDU(Data Unlearning via Inverse Distillation)是一種結合選擇性資料遺忘與單步生成的框架,訓練單步學生模型抑制指定資料子集,同時保留對其餘資料的生成品質。訓練只需提供要遺忘資料的樣本,毋須保留資料的訓練圖片或額外分類器。研究在 MNIST 和 CIFAR-10 上進行評估,結果顯示模型能有效抑制指定類別,並維持具競爭力的生成品質。

  4. HuggingFace Daily Papers(社區熱門論文)47

    混合注意力大語言模型的多語言能力

    研究首次探討混合注意力對大語言模型多語言能力的影響,並發現跨語言表徵模式與循環層及完整注意力層的排列有關。多語言數據蒸餾實驗顯示,所有替代層排列在整個訓練過程均優於標準排列,學習速度最高快 2.5X。研究據此提出,多語言模型或可由完整注意力層而非循環層開始。

  5. HuggingFace Daily Papers(社區熱門論文)40

    學會引導,藉引導觀察:以可訓練向量揭示大語言模型中 RLVR 的幾何結構

    研究者在 5 個大語言模型及 6 項可驗證獎勵任務上研究 RLVR,發現其增益與激活空間中的低維有效流形相關。他們提出即插即用框架 Alpha-Stabler,監察主成分子空間侵入並移除反向傳播時激活梯度中的相關分量,使訓練穩定達 2,000 步,並持續提升 RL 增益。

最多提供 50 頁,更早的內容請使用搜尋或主題頁。