跳到正文
10月15日週四
  1. DEV Community47

    VIDRAFT 在僅供推理的 NPU 上從零預訓練 VKORE-46M-NPU,毋須 GPU

    VIDRAFT 僅用第一代、僅供推理的 NPU,從零預訓練出 46M 參數的語言模型 VKORE-46M-NPU,全程毋須 GPU。在相同條件下,NPU 與 GPU 訓練的損失軌跡相關係數為 0.99,反映訓練動態相近,但不代表速度相同。模型權重及比較分析資料已在 Hugging Face 公開,訓練程式碼則未公開。

  2. CNET60

    OpenAI 因使用兒童資料訓練 ChatGPT 遭起訴

    夏威夷一名家長代表兩名未成年子女起訴 OpenAI,指控其未經家長同意使用數百萬名兒童的 ChatGPT 資料訓練模型。訴狀稱,一名 12 歲女孩曾告知 ChatGPT 自己的年齡,對話仍然繼續,內容亦涉及健康、外貌和情緒等個人資料。原告要求案件獲批集體訴訟,並按每名兒童貢獻的 token 比例獲得 OpenAI 股權或等值現金。

  3. HuggingFace Daily Papers(社區熱門論文)40

    ACEdit:以非對稱條件化穩定多輪圖片編輯

    ACEdit提出結合自我強制訓練、教師蒸餾與非對稱條件化的訓練方案,令多輪圖片編輯在累積分佈偏移下保持穩定。學生模型依序編輯自身先前輸出,教師圖像編輯模型則以原始乾淨圖片為基準,並接收複合編輯指令。實驗顯示,該方法在維持編輯品質和指令遵循度的同時,顯著減少長序列多輪編輯中的品質下降。

  4. HuggingFace Daily Papers(社區熱門論文)40

    預測在策略自我蒸餾中特權資訊的成效

    研究發現,在策略自我蒸餾中,特權資訊的成效取決於內容、生成來源及學生模型;基於 KL 的指標比直接效用估算更能預測訓練收益。研究評估 16 種特權資訊配置、3 個多輪智能體基準及 3 個學生模型,並發現以 Δd^{-}_{err} 為各任務挑選特權資訊,訓練後表現優於隨機選擇。有效的特權資訊配合 GRPO,亦能勝過強力 GRPO 基準。

  5. HuggingFace Daily Papers(社區熱門論文)40

    Training Reasoning Models to Generate Diverse Scientific Ideas

    研究人員提出集合層級的強化學習目標,訓練語言模型根據文件生成多元且高質素的構想。經訓練的 8B 模型在無污染基準測試上的創意效用高於 Claude Opus 4.8 和 GPT-6 Astra;專家評估認為,其構想集與 Claude Opus 4.8 一樣有前景,獨特構想略多。由編碼智能體執行概念驗證實驗時,模型的 success@k 與 Claude Opus 4.8 相若。

  6. HuggingFace Daily Papers(社區熱門論文)44

    透過免訓練權重編輯抵禦有害指令

    一種免訓練方法利用少量提示詞對,對指令微調模型進行對比式權重編輯,降低模型遵從目標有害指令的程度。在兩項要求模型説謊的基準上,誠實回應率分別較最強替代方法高 6.2 和 4.6 個百分點,五個模型中有三個提升顯著。針對性別歧視指令,歧視回應率由 57.9% 降至 24.3%,配合公平提示詞後進一步降至 11.9%。

  7. HuggingFace Daily Papers(社區熱門論文)42

    探討合成數據的實證私隱狀況

    研究比較了合成醫療記錄上不同資料層面及訓練層面的幹預方法,發現以具私隱意識的方式改寫合成數據,比直接微調或 DP-SGD 更能兼顧模型能力與私隱保護。相較於一般改寫,要求替換獨特私隱細節的改寫指示能進一步減少私隱洩漏;改寫模型能力較強時,下游洩漏風險通常較低。

  8. HuggingFace Daily Papers(社區熱門論文)41

    Lean4AgenticRL:以可驗證的多層級過程獎勵推進智能體強化學習

    Lean4AgenticRL 將可驗證的多層級過程獎勵納入 Lean4 形式化框架,提升軟件工程及終端任務的智能體強化學習。該框架用於訓練 LAR-9B 和 LAR-27B,LAR-27B 在 TerminalBench-2.1 得分 77.3%。兩款模型平均較基礎模型高 9.89%,並較已知同等規模的第二佳模型高 5.07%。

  9. HuggingFace Daily Papers(社區熱門論文)43

    稀疏自編碼器中的表徵重新分配

    研究提出重新分配敏感度分數(RSS),用以識別稀疏自編碼器中反覆出現、方向一致的特徵變化,並量化其對下游讀出的貢獻,而不把表徵變化等同於失敗。研究評估了涵蓋八個語言模型的 27 個預訓練 SAE,發現提示詞變換在未用於篩選的變體上產生可重現的重新分配模式。

  10. HuggingFace Daily Papers(社區熱門論文)41

    EvoHeir:選擇並非學習——如何決定模型的演進方向

    EvoHeir將參數繼承與經驗繼承分開,並以全新評估題目判斷是否繼承模型更新,改善自我演進語言模型的繼承方式。HeirCommit在相同接納率下,較隨機繼承將已接納更新中的有害比例降低68-83%。EvoHeir在四個骨幹模型上的數學及一般推理平均表現最佳,數學平均較最強基線Agent0高5.3%。

  11. elsewhere:文章50

    田柯宇自稱「基座模型創業者」,稱自己從不缺卡

    文章以諷刺口吻整理田柯宇與字節跳動訴訟中的訓練系統幹預爭議,並對照其本人説法與指控方描述。田柯宇稱自己在約十天內手動停掉對方程序約五次,否認持續兩個月攻擊;指控方則稱其篡改 PyTorch 源碼、終止訓練進程,並利用 checkpoint 設置登入後門。一審判田柯宇賠50萬,字節跳動上訴索賠800萬;文章亦摘錄他對多模態基座模型及世界模型的主張,並加以諷刺評論。

  12. Hugging Face Blog61

    HiRO-ACEv2 推出全球 3 km 氣候模擬,成本約為 X-SHiELD 的 1/300

    HiRO-ACEv2 推出新的降尺度模型 HiROv2,可生成全球 3 km 氣候數據,整套系統成本約為 X-SHiELD 的 1/300。HiROv2 可同時預測多種高解析度氣象場;以降解析度的 X-SHiELD 數據為輸入時,即使是每百萬個數據點才出現一次的事件,高解析度統計與目標模擬仍相差不超過 3%。

    推薦理由:內容比較 HiRO-ACEv2 與 X-SHiELD 的生成成本和極端天氣統計表現,並交代系統目前仍受限於按 X-SHiELD 調校的 ACE。

  13. HuggingFace Daily Papers(社區熱門論文)48

    ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models

    ACCRUE 透過持續離策略強化學習改善機械人基礎模型,讓機械人在學習新任務時保留先前技能。使用 π0.5 + FastTD3,後續真實世界任務約需 4–12 分鐘機械人互動,達到 95% 成功率停止準則;相較單任務強化學習,AutoMate 和 NIST 組裝任務所需互動分別減少 31.0–68.5% 和 38.7–42.9%。

  14. Ai2 / Allen Institute for AI58

    Ai2 推出 HiRO-ACEv2 氣候模擬系統,生成全球 3 km 氣候數據的成本約為 X-SHiELD 的 1/300

    Ai2 推出 HiRO-ACEv2 氣候模擬系統,可生成全球 3 km 氣候數據,成本約為運行高解像度全球大氣模型 X-SHiELD 的 1/300。新降尺度模型 HiROv2 可同時預測多種高解像度氣象變量;以粗化的 X-SHiELD 數據作輸入時,即使對每百萬個數據點才出現一次的事件,其高解像度統計與目標模擬相差不超過 3%。

  15. Apple Machine Learning Research48

    三模態遮罩擴散模型的設計空間

    研究團隊提出首個從零開始預訓練的三模態遮罩擴散模型(MDM),訓練數據涵蓋文字、圖文及音訊文字。研究系統分析多模態 scaling laws、模態混合比例、噪聲排程及批次大小效應,並提出基於 SDE 的重新參數化,毋須調校最佳批次大小。初步模型規模為 3B(6.4T tokens),在文字生成、T2I 及 T2S 任務均取得強勁結果。

10月14日週三
  1. MIT News76

    MIT 研究人員參與開發機器學習方法,提升兩至六週天氣預報準確度

    MIT 研究人員參與的團隊開發機器學習後處理模型,透過修正既有預報模型的誤差,提升未來兩至六週的天氣預報準確度。該方案在 ECMWF 預報競賽中獲得第一,預報能力較原模型提升一倍,並首次勝過氣候平均值。研究亦顯示,該方法可改善全球多數地區的陸地預報,並在極端天氣預測上帶來統計上顯著的提升;它也能套用於其他模型。

    推薦理由:這項後處理方法可套用於不同預報模型,並同時改善兩至六週預報與極端天氣預測,呈現機器學習校正長期預報誤差的實際用途。

  2. DEV Community36

    DemoDoctor:機械人示範中的缺陷可被檢測出來,但會造成影響嗎?

    DemoDoctor 在 PushT 上以無標籤訊號檢測機械人示範故障:停滯和抖動的 F1 分別為 0.867 和 0.687,延遲與截斷的檢測較弱,重複影格則未能可靠識別。ACT 策略在四種數據條件下各以 3 個隨機種子訓練 60k steps,研究未能測出故障或清理數據造成的表現差異;成功率僅 0–4%,結果不足以排除影響。

  3. 第一財經42

    山東:到2027年在科學研究、醫療健康等16個重點領域建成50個以上行業高質量數據集

    山東省人民政府辦公廳提出,到2027年在科學研究、醫療健康等16個重點領域建成50個以上行業高質量數據集。實施意見支持數據企業建設行業知識庫和評測數據集,以支援人工智能大模型訓練應用,並鼓勵開發、應用行業大模型,探索「數據+技術+場景+資金」方式。

  4. Business Insider Tech53

    律師事務所正圍繞最重要資產「經驗」構建 AI 系統

    大型律師事務所正把交易紀錄、訴訟策略及客戶偏好等內部經驗融入 AI 系統,期望藉此與同業可購買的通用工具形成差異。Kirkland & Ellis 今年較早前同意支付 Palantir $500 million 建設技術;Morgan & Morgan 已開始使用可辨識案件模式的內部 AI 模型,並表示未來十年將投入 $1 billion。

  5. DoNews55

    字節前實習生田柯宇回應「模型投毒」:以暴制暴

    前字節跳動實習生田柯宇近日在播客中首次回應「投毒」爭議,稱自己曾用 GPT 編寫程序停掉另一名實習生的任務,並表示事件不屬「投毒」、不涉及攻防。他稱自己約十天內手動停掉對方程序約五次,承認行為不當並接受法院一審判決的50萬元賠償;判決亦沒收其全部實習工資。播客上線後,前團隊同事發布上萬字説明報告,指其説法與事實有出入,並提醒合作者及投資人審慎核實;田柯宇方面尚未回應。

  6. 創業邦79

    英偉達又在你眼皮子底下完成了一次歷史性轉型

    英偉達正透過一系列交易與人才吸納,把業務由 AI 基礎設施延伸至前沿模型研發,目標是同時製造計算系統與前沿智能。按公開報道及已宣佈的交易安排計算,Groq、Poolside 與 Hugging Face 相關交易規模接近400億美元,涵蓋技術授權、人才吸納、股權投資及待交割收購,並非已支付的併購現金。Hugging Face 收購協議尚待交割;若交易完成,成熟的開發者平台也會加入這個組合。

    推薦理由:文章梳理英偉達對 Groq、Poolside、Hugging Face 的投資、技術授權與人才吸納,如何共同推動其由計算基礎設施延伸至前沿模型研發。

  7. 創業邦60

    田柯宇創業獲近3000萬美元融資、投後估值2億美元,字節跳動訓練爭議回應文件流出

    田柯宇以世界模型創業者身份融資近3000萬美元,投後估值2億美元;同時,親歷者整理的回應文件就其在字節跳動實習期間幹預訓練一事提出不同説法。田柯宇在10月12日播客訪談中稱,自己約十天內手動幹預五次,否認爭奪算力及影響其他成員研究;文件則稱相關項目受影響長達4個月,並指VAR展示模型是已開源的PixArt,真正的VAR T2I訓練狀態和loss表現存在嚴重問題。

  8. unwire.hk · 人工智能71

    Anthropic 披露智譜、月之暗面被指蒸餾 Claude 能力的攻防細節

    Anthropic 報告指智譜旗下 GLM-5.3 及月之暗面的 Kimi 涉及擷取 Claude 能力,並披露相關攻防。Anthropic 表示,三類防禦措施部署後,蒸餾活動取得的資料減少約 90% 至 99%,並封鎖數萬個相關帳戶。相關數字來自 Anthropic 自身監測,仍屬初步結果;公司亦稱新防線尚未經複雜且持續的攻擊考驗,平台數據不能代表外部蒸餾活動同步減少。

  9. Cerebras:Blog60

    MoE 模型路由問題逐步除錯指南

    Cerebras 的指南示範如何以 null expert 修正 MoE 的 top_k=1 路由梯度問題,令 4 專家模型在 2.4B tokens 時較密集 GPT-2 基準提升 2%。實驗以 124M GPT-2 模型為基礎;問題源於 gate normalization 令 gate=1,交叉熵梯度因此無法傳至 router,而 null expert 不增加參數或計算量。