跳到正文
10月14日週三
  1. MIT News38

    人工神經網絡如何構建自身的學習機制

    MIT研究團隊展示,人工神經網絡可按簡單規則自行組織,並構建自身的學習機制。研究團隊的網絡能學習辨認模式及分類圖像,表現與採用反向傳播的網絡相若。研究提出,自組織能力是評估人工神經網絡對生物學是否合理的重要指標。

  2. DEV Community42

    付費使用電郵是否值得?付出的費用實際買到甚麼

    付費電郵的價值在於用戶直接支付郵箱服務費,讓供應商靠訂閲收入維持服務。免費郵箱可能靠廣告或其他付費訂戶補貼,收件箱資料亦曾被用作商業廣告數據;Google稱不會用個人 Gmail 訊息訓練 Gemini 基礎模型。付費仍不能免除法律責任、保證送達或保障郵件進入 Gmail 後仍加密;只有自有網域能改變電郵地址仍屬他人網域的問題。

  3. Databricks:Blog54

    Databricks 回顧 Lakeflow Designer 2026 年 10 月更新,擴充無程式碼算子與工作流程功能

    Databricks 公佈 Lakeflow Designer 過去 4 個月的更新,新增無程式碼資料清理與品質檢查算子,並擴充工作流程和輸出功能。新增功能包括去重、資料品質檢查、Join 分支、動態選取欄位,以及輸出至 materialized views、現有資料表和 CSV、Excel、JSON 檔案;畫布亦加入可搜尋目錄、版本差異檢視和即時遊標協作。

  4. HuggingFace Daily Papers(社區熱門論文)54

    PrismaCoder 以分解式評分規準推進開放多模態程式碼智能

    研究團隊提出 PrismaForge,以合成評分規準拆解多模態程式碼資料的品質要求,並用於資料篩選及模型訓練。團隊據此建立 PrismaCoder-2M 數據集,並訓練、發布 PrismaCoder-9B 和 PrismaCoder-35B。兩款模型大幅領先開放模型的現有水平,並可與領先專有系統匹敵;該評分規準流程亦提升不同模型骨幹的多模態編碼表現。

  5. HuggingFace Daily Papers(社區熱門論文)40

    SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning

    SERO 透過訓練時使用可執行的 Oracle 延續,改善長時程智能體強化學習,且推理時無額外開銷。研究在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B-Instruct 及 Qwen2.5-7B-Instruct 評估;在 ALFWorld 上,學習完整延續比只監督根節點 Oracle 動作更有效,政策可達性加權亦提升分佈外表現。

  6. HuggingFace Daily Papers(社區熱門論文)38

    Recognition Is Not Grounding: Benchmarking Multilingual Financial Evidence Extraction

    MULTIFINGROUND 是一項多語言基準測試,顯示語言模型雖能識別財務概念,仍常未能找回全部對應數值證據。基準涵蓋 90 個發行人的 FY2025 英文、法文及希臘文披露資料,評估 15 個模型。當中 8 個 API 及開放權重參考模型的概念識別準確率達 97.3-99.4%,但在 26.6-41.9% 已正確識別的概念組中,至少漏掉一項目標事實。

  7. HuggingFace Daily Papers(社區熱門論文)43

    CoTranslator: Reverse to Forward Chain-of-Thought Translator for Reasoning Distillation

    CoTranslator 將反向推理軌跡轉換為符合已驗證正向推理分佈的內容,支援高效、可遷移的學生模型推理蒸餾。在六個數學基準測試中,六個學生模型的平均準確率較語義抑制法最高提升 5.82 個百分點;兩個 4B 學生模型保留拒絕採樣平均準確率的 95.0%,估算運算量則為其 35.9%。

  8. HuggingFace Daily Papers(社區熱門論文)45

    Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

    研究指出,語言模型的隱藏狀態可能已編碼任務資訊,但讀出層尚未能在輸出中呈現;因此,按輸出判定能力出現時間,反映的是讀出學習,而非模型獲得能力的時間。研究以 parameter-trajectory crosscoding 分析 Pythia 預訓練,發現進度達 0.4-1.1% 時,讀出開始重新組織,WordNet 詞類亦可從讀出行解碼。

  9. HuggingFace Daily Papers(社區熱門論文)42

    擴散模型的校正訓練

    擴散模型的校正模組透過修正去噪預測減少曝光偏差,提升無引導及無條件生成的樣本品質。這項方法在 DiT、SiT 和 JiT 上的表現可媲美 CFG;結合 CFG 則可進一步提升多樣性,並減少過度飽和。將修正後的預測蒸餾回基礎模型,可保留品質提升而不增加推理開銷。

  10. HuggingFace Daily Papers(社區熱門論文)43

    稀疏自動編碼器的數據邊際收益遞減:功能表現不保證特徵可重現性

    研究顯示,稀疏自動編碼器(SAE)的重建表現往往可用較少激活 token 接近全數據參照值,但特徵可重現性仍隨數據增加而提升。研究以 5M 至 500M 激活 token 的數據預算,訓練 4 種 SAE 架構,並在 3 個語言模型上比較功能表現與特徵一對一重現。Gemma-2-2B BatchTopK 的嚴格匹配特徵比例由 5M token 時的 2% 升至 50M 時的 29%。

  11. elsewhere:文章52

    作者批評 AI 行業 RSI 炒作「神似狗吃屎」

    作者批評 AI 行業把「遞迴自我改進」(RSI)用作廣泛的創業宣傳概念,認為不少公司將自我蒸餾、模型生成數據迴流訓練等做法都稱為 RSI,令概念邊界變得含糊。他指出,模型公司的 RSI 仍處於探索階段,並質疑缺乏新數據的自我蒸餾能否避免過擬合;文章亦將這股熱潮放在近期世界模型、AI for Science 等投資概念炒作中批評。

  12. GitHub Blog · AI & ML61

    GitHub 機密偵測模型以較少誤報找出更多憑證

    GitHub 訓練並部署微調 ModernBERT 分類器,與 regex 候選生成組成兩階段機密掃描流程,以周邊脈絡區分真實憑證和相似字串。相較舊有 LLM 流程,線上以儲存庫擁有者加權的接受率提高 11.5%,post-push 掃描中位執行時間降低 86%,服務成本降低逾 98%。

    推薦理由:文章拆解 regex 與微調 ModernBERT 結合的兩階段設計,並以接受率、掃描時間及服務成本數據呈現其相較舊 LLM 流程的變化。

  13. 第一財經40

    “GPT-7可能將具身智能問題打穿”,機器人爆發會提前到來嗎?

    宇樹科技創始人王興興認為,GPT-7 明年推出後可能突破具身智能的難題,相關臨界點或在一兩年內到來,但行業仍面對泛化性和效率挑戰。他透露,團隊已將 GPT-6 部署至機器人進行任務測試,並認為自進化需要累積人類操作、仿真及真機數據。機器人大規模落地還涉及算力部署和工業數據開放等問題。

  14. 禾賽科技60

    禾賽科技發佈 Kosmo 三維世界數據引擎及 Kosmo One、Kosmo World

    禾賽科技正式發佈三維世界數據引擎 Kosmo,並同步推出 Kosmo One AI 空間相機和 Kosmo World 雲平台。Kosmo 可將採集的真實場景重建為 3DGS、mesh 和 depth 數據,供具身智能訓練使用。在 Sharpa 機械人應用於 DQ 冰淇淋門店的案例中,Kosmo 約 15 分鐘即可掃描並生成三維訓練環境,任務成功率升至 99%,失敗個案降至原來十分之一。

10月13日週二
  1. Apple Machine Learning Research49

    Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings

    研究比較阿拉伯語低資源預訓練中混入英語數據與超參數調優,發現數據混合在驗證損失和下游任務準確率上的提升更大。研究涵蓋 150M 至 1.43B 參數的四種模型規模及約 1000 次預訓練實驗;混合帶來的效益相當於 2–3× 獨特目標語言數據的驗證損失效益,以及 2–13× 的下游任務準確率效益。研究建議優先調整混合比例,並透過 μP 將小型代理模型的超參數轉移至大型模型。

  2. Lovable Blog63

    Lovable 擴展功能,支援數據分析及生成文件、圖像和影片

    Lovable 擴展應用程式建置能力,現可分析檔案及連接的應用程式資料,並生成可供編輯及下載的文件,以及可下載的圖像和影片。支援 PowerPoint、Word、PDF、CSV、Excel、JSON、XML、JPEG、PNG、GIF、WebP、文字檔及影片。其 AI 智能體可在安全環境中執行程式碼和小型腳本,用於數據分析、檔案處理及格式轉換。

  3. Berkeley RDI:Blog70

    Berkeley RDI 推出 CUA-Lite 電腦操作智能體開發開放平台

    Berkeley RDI 推出 CUA-Lite,作為開發電腦操作智能體的開放平台,統一環境介面、監督式數據格式,並讓每個模型的 harness 共用於評測、SFT 和 RL。平台已整合 15+ 個基準測試、10+ 個數據集,並為 14 個模型家族實作 harness;其可選的免 VM 桌面沙盒提供 30k+ 個可驗證訓練任務。

  4. 虎嗅56

    AI 制藥狂奔後踩下煞車,濕實驗與專有數據成為瓶頸

    AI 制藥雖已提升文獻整理、分子生成及臨牀試驗管理效率,但公開數據的侷限和濕實驗通量限制,令行業在累積專有數據時不得不放慢研發節奏。文章以「設計—構建—測試—學習」(DBTL)循環説明,模型輸出仍須由實驗驗證並回饋訓練,而功能性篩選等環節仍需人工參與。現階段 AI 主要輔助科學家提出及驗證假設,不能取代對靶點與疾病因果關係的判斷,也未消除臨牀研發的漫長考驗。

  5. MIT Technology Review · AI71

    AI 實驗室向倒閉初創公司購買資料訓練模型

    AI 實驗室、AI 訓練環境供應商及科技公司正向倒閉初創公司購買程式碼和工作區資料,用於訓練模型。SimpleClosure 的 Asset Hub 已處理超過 150 宗交易,預計在 2026 年底前向初創公司返還超過 $10 million;現有交易中有 47% 包含程式碼或資料出售。真實資料訓練與替代方案的效果尚無公開測試比較,交易亦涉及員工私隱及收益分配爭議。

  6. IT之家74

    IDC:英偉達在華數據中心 AI 晶片市場份額降至 34%,華為升至 28%

    IDC 報告顯示,2026 年上半年英偉達在中國數據中心 AI 晶片市場的份額降至 34%,華為則升至 28%。英偉達 AI 加速器出貨量為 67.8 萬顆,同比下降 44%;華為出貨量為 57.2 萬顆,高於去年同期的 30 多萬顆。報道稱,美國出口管制限制英偉達產品供應,中國本土競爭對手則持續擴大份額。

  7. MarkTechPost49

    Alibaba Qwen Introduces QwenGyre: Elastic Reinforcement Learning RL for XLong-Horizon Agents

    Alibaba Qwen 推出 QwenGyre,這是一套用於超長時程智能體訓練的彈性強化學習框架,可在 rollout 和訓練之間調度 GPU。Qwen 3.8 2.4T 在 NL2RepoBench 的評分於 48 步內由 52.48% 升至 58.54%,訓練用時 75.42 小時;相較 Colocate 快 1.21 倍。框架最多保留每次執行的 5 條軌跡,公開程式碼未披露。

  8. HuggingFace Daily Papers(社區熱門論文)45

    COMPASS:訓練前評估模型配對是否適合對齊或合併

    COMPASS 在模型對齊或合併前評估配對相容性,協助排序候選配對及配置資源。它以編碼器間的 k-NN 重疊度及訓練範式可達的重疊上限,作為兩項可低成本計算的指標。在 72 項跨模態對齊實驗及 392 項任務算術模型合併中,COMPASS 與下游成效的平均 Pearson 相關係數分別為 0.91 及 0.70。

  9. HuggingFace Daily Papers(社區熱門論文)47

    FlashMask-3:高效且具表達力的遮罩感知分散式注意力

    FlashMask-3 提出面向 Hopper 的遮罩感知注意力核心程式及分散式擴展,透過零通訊遮罩定位和通訊裁剪提升長上下文訓練效率。在 128 張 H100 上以 128K 上下文訓練 118B-A14B MoE,吞吐量較 Dual Chunk all-gather 基線提升 7.3–11.0%,注意力前向與反向運算速度提升 24.5–44.9%。

  10. HuggingFace Daily Papers(社區熱門論文)35

    Copy-Paste Language Models

    Copy-Paste Language Models(CPLMs)在傳統語言模型頭之外加入輕量級 Copy-Paste 頭,以明確建模提升大語言模型的語境複製能力。研究以 135M 至 1.7B 參數模型預訓練驗證,在不同規模及骨幹模型上均改善訓練效率與下游表現,並提升長上下文及檢索情境的表現,訓練和推理額外開銷可忽略。

  11. HuggingFace Daily Papers(社區熱門論文)49

    PreciseCoder:超越單元測試獎勵限制,實現精準且可泛化的程式除錯

    PreciseCoder 以語義驗證的局部修改作為獎勵,提升程式修復精準度及泛化能力。在 4B、9B、27B 模型上,平均修改行數由 7-15 行降至 3 行,通過率與僅用單元測試訓練相若。使用其 9B 模型的推理軌跡後,GPT-5.6 Sol 和 Qwen3.8-Max 的修改精準度提升 4.6-12.4 個百分點,無須額外訓練。

  12. HuggingFace Daily Papers(社區熱門論文)39

    DisaggKD:透過教師與學生分置及融合損失實現高效知識蒸餾

    DisaggKD 將教師與學生模型分置於不同節點,並以融合損失進行知識蒸餾,無須生成完整詞彙表 logits。在 Qwen3.5-35B-A3B 至 9B 配對中,分置配置達到與採用相同損失的共置配置相同 LM loss,且速度更快。較大型配對中,共置配置即使採用融合損失仍因教師權重和學生狀態佔滿記憶體而 OOM,分置配置則可訓練。

  13. HuggingFace Daily Papers(社區熱門論文)43

    Simplifying and Improving On-Policy Distillation for Few-Step Diffusion

    研究提出簡化匹配蒸餾(SMD),以簡單的在策略速度回歸作為少步擴散生成的基礎。SMD 加入僅用於訓練的 Pivot 殘差代理,並令學生模型遠離較弱的教師預測;整套方法不需線上分數估計或對抗訓練,部署時生成器維持不變。在 4-NFE 下,SMD 勝過強力少步基線,並在多項基準測試中超越多步教師,規模可達 33 billion parameters。

  14. HuggingFace Daily Papers(社區熱門論文)37

    擴大流匹配中的線上最優傳輸小批次規模

    研究提出可擴展的線上熵正則最優傳輸近似,讓流匹配訓練能使用更大的來源—目標耦合小批次。理論證明,無正則化及熵正則最優傳輸均較獨立配對嚴格降低完整隨機梯度方差與積分誤差,且小批次增大時改善更明顯。單細胞基因插值流及圖像流實驗顯示,較大的線上耦合可提升訓練穩定性及最終生成表現。

  15. HuggingFace Daily Papers(社區熱門論文)46

    LeanPRM: Lean-Grounded Process Supervision for Natural Language Proof Verification

    LeanPRM 利用 Lean 證明助手為自然語言數學證明自動產生逐步正確性標籤,訓練無需人工標註的驗證器。數據集包含 10,634 個證明及 152K 個已標註步驟;以 LeanPRM 訓練的 Qwen3-4B,在留出集的逐步標籤準確率由 48.2 提升至 74.7,同一基礎模型以 PRM800K 訓練則為 60.3。

  16. HuggingFace Daily Papers(社區熱門論文)44

    Cowork-Gym: Synthesizing Interactive Work Environments at Scale

    Cowork-Gym 透過迭代驗證合成協作智能體環境,並用這些環境訓練 Qwen 模型,提升其智能體基準測試表現。研究合成了 64.9K 個環境,涵蓋 14 種應用情境;經後訓練的 9B、27B 和 35B-A3B 模型,在六項基準測試的平均表現分別較對應基礎模型高 8.7、6.4 和 4.1 分。