跳到正文
10月16日週五
  1. DEV Community28

    碳負排放基礎設施的海岸氣候韌性規劃:自監督時間模式挖掘

    作者探討以自監督時間模式挖掘無標註多變量時間序列數據,支援碳負排放基礎設施的海岸氣候韌性規劃。實驗發現,配合領域知識增強的對比學習效果最佳,能保留具物理意義的模式並減少感測器漂移和校準雜訊的幹擾;一般增強方法則可能抹去平靜潮汐與風暴潮的差異。

  2. Thinking Machines Lab:News49

    Tinker 一週年:將專業知識轉化為自訂模型

    Thinking Machines Lab 的 Tinker 推出一年,以後訓練 API 讓用戶運用自有數據打造自訂模型。平台由最初的千問(Qwen)和 Llama 14 款文字模型,擴展至其後新增逾 20 款模型,涵蓋 4B 至 1T 參數。Tinker 管理 GPU 和檢查點,用戶掌控數據及訓練流程;平台不會以客戶內容訓練模型。

  3. HuggingFace Daily Papers(社區熱門論文)55

    LM2LM 讓語言模型學習改進語言模型

    研究提出 LM2LM,以凍結的研究世界模型(RWM)預測改進提案的收益,作為強化學習獎勵,訓練語言模型生成語言模型改進方案。系統會定期實際執行 RWM 排名靠前的提案,並把測得結果加入其上下文,以維持回饋可靠性。

  4. HuggingFace Daily Papers(社區熱門論文)49

    RAP: A Dataset for Paper-to-Poster Generation via Declarative Markup from Human-Crafted Exemplars

    RAP 提出以論文生成會議海報的數據集及基準,將任務視為視覺編碼,收錄 25K+ 組經核驗的論文、海報及標記語言配對,並設有 150 篇測試論文的基準。PosterRAG 以免訓練的多智能體流程檢索範例並填入內容欄位;研究亦以 SFT+RL 配方訓練專用模型。

  5. HuggingFace Daily Papers(社區熱門論文)38

    MaSS 透過學習辨識場景結構,令自監督深度估計具可擴展性

    MaSS 框架透過分離結構表徵與上下文特徵,並採用場景結構判別目標,提升自監督單目深度估計在多樣場景中的可擴展性。在四個數據集上的單獨及聯合訓練與評估中,MaSS 大幅勝過以往方法,並持續受益於混合領域訓練。在另外八個數據集的零樣本評估中,MaSS 亦展現出良好的泛化能力,程式碼已公開。

  6. HuggingFace Daily Papers(社區熱門論文)45

    透過 Harness-Policy Optimization 實現自我演進的編碼智能體

    Self-HPO 提出交替優化 harness 與策略的編碼智能體自我改進框架,並以強化學習針對不斷演變的失敗模式提升表現。在三項編碼基準上,Qwen3.5-35B-A3B 的平均解決率由 57.8% 升至 64.8%,增益亦可泛化至分佈外設定。使用外部模型 Opus 4.8 作為 harness 提案者,可進一步提升表現。

  7. DEV Community49

    甚麼是過度擬合:AI 模型怎能在訓練數據上得分 99%,卻在真實環境中失效?

    過度擬合指 AI 模型過度貼合訓練數據,可能在訓練樣本得分 99%,卻無法將所學泛化至未見數據。模型容量相對數據過大、訓練資料不足或不具代表性、訓練過久,以及標籤噪聲和偶然模式,都可能助長過度擬合。訓練表現持續改善,不代表未見數據上的表現同步提升。

10月15日週四
  1. The Next Platform49

    When Faster Supercomputers Aren’t Enough: A Million Reasons Why Advanced Computing Matters For Genomics

    Argonne 團隊將基因關聯分析套件 SAIGE 改寫為 SAIGE-GPU,令原本需約 481,000 CPU-core hours 的分析得以執行。研究分析了 635,969 名退伍軍人的 2,068 項特徵,找出 13,672 個與一種或多種疾病相關的基因組區域。近三分之一參與者並非歐洲血統,約 1,600 個關聯只在合併不同羣體的分析結果後才浮現。

  2. Prime Intellect51

    Prime Intellect 與 NVIDIA 後訓練 Nemotron 3.5 Super VL,提升企業工作流測試分數

    Prime Intellect 與 NVIDIA 以 GRPO 後訓練 Nemotron 3.5 Super VL,令其 AutomationBench-AA 公開分數由 34.0% 升至 57.7%。訓練使用 2,500 個經驗證的企業工作流任務,在 128 NVIDIA GB200 GPUs 上進行約 11 小時。評分按任務目標完成度給予部分分數,但違反任何護欄都會令該任務得分歸零。

  3. Mistral AI61

    Mistral AI 發佈 Timestral 時序基礎模型系列

    Mistral AI 發佈 Timestral 時序基礎模型系列,提供 5M、28M、123M 和 209M 四種尺寸,支援機率式多變量預測及過去與已知未來協變量。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三個公開基準均排名第一;以三週、每 15 分鐘一筆的歷史資料預測一天,在 8 threads 的標準伺服器 CPU 上耗時 140 ms。

    推薦理由:Timestral 的四種模型尺寸對應不同的預測表現與推理速度,文章提供公開基準結果和 CPU 延遲數據,方便比較準確度與部署效率之間的取捨。

  4. MarkTechPost50

    CopilotKit 推出 CLiF 持續學習平台,將智能體軌跡與用戶操作轉為技能、評測及微調數據

    CopilotKit 推出 CLiF,將智能體軌跡與用戶在產品中的操作整合成全棧軌跡,再轉為技能、基於實際使用的評測、微調數據集及原始軌跡。平台透過 AG-UI 將雙方活動記錄在同一時間線;每項技能提案均須經人工審核,發佈後可無需重新部署而提供給智能體。CLiF 現正提供早期體驗,並支援自託管,讓軌跡及所學內容留在企業自有基礎設施內。

  5. DEV Community46

    Invoice-Check JP: A 3B Model Reads the Invoice, Checks Decide Whether to Trust It

    Invoice-Check JP以QLoRA微調的Qwen2.5-VL-3B-Instruct讀取日本合格發票,並以校驗碼、登記資料及税額計算判定是否自動核准。在600張合成測試發票中,86.8%獲自動核准,獲核准者沒有檢查可捕捉的錯誤欄位。結果僅適用於虛構公司的合成發票,不能代表真實發票表現。

  6. Hugging Face Blog68

    Apertus 1.5 發佈説明:新增圖像與音訊理解,上下文窗口擴至 262,144 tokens

    Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。

    推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。

  7. DEV Community45

    MCP Explained in 5 Layers: How I Connected 10.16M Records to AI (and Why It's a Blue Ocean)

    作者透過 MCP 將清理及標準化的 155 個日本官方數據集、共 10.16M 條記錄接入 AI 智能體,並以此説明 MCP 的五層架構。文章將 MCP 伺服器分為數據型、狀態記憶型及動作/遠端型三類。作者認為,為不同 LLM 提供可接入的工具並整理未清理的本地數據,是開發者的藍海機會。

  8. Business Insider Tech65

    機械人訓練競賽如何把人類工作轉化為訓練數據

    多家公司正付費招募全球工作者記錄烹飪、清潔和維修等實體任務,收集訓練機械人所需的影片與動作數據。Encord表示,機械人訓練數據需求約為一年前的10倍,客戶要求的標註數據量已由1,000小時升至10,000甚至100,000小時。報道同時指出,這類採集工作涉及工人同意、薪酬和身體負擔,數據供應商能否持續盈利亦存在不確定性。

  9. DEV Community33

    Bienestar digital con IA: por qué los bloqueadores fallan y cómo hacerlo predictivo, adaptativo y con coach

    Desconecta 以預測模型、可解釋的風險評分、逐步調整的使用限制和 LLM 教練,應對屏幕時間控制應用的靜態限制、滯後提醒和容易解除等問題。應用的使用時間預測達 R²≈0.77,風險評分達 AUC≈0.79;作者選擇保留真實數據的噪音,而不透過人為清理數據提高分數。後端由 FastAPI 提供分析,供網頁示範和原生 Android 應用使用。

  10. HuggingFace Daily Papers(社區熱門論文)47

    Glance Forcing:讓雙向擴散模型實現自回歸生成

    研究提出 Glance Forcing,將雙向擴散模型蒸餾為自回歸生成模型,僅用一條 PF-ODE 軌跡便超越已充分訓練的 SOTA 基線。VBench Total 由 84.04 升至 84.22,軌跡收集成本由數千 GPU-hours 降至約一個 A100-GPU-hour。方法將去噪軌跡拆分為慢、快兩個專家,並保持預訓練教師模型完全凍結。

  11. HuggingFace Daily Papers(社區熱門論文)45

    Cortex: Consolidating Context into Parametric Memory

    Cortex 透過生成前瞻性查詢,將依賴上下文的輸出蒸餾為可合併的低秩或結構化前饋網絡更新,將上下文帶來的能力增益整合至模型參數。研究以涵蓋 4B–120B 密集及混合專家模型的測試集評估整合與保留效果。在 14B 模型上連續進行 50 次事實編輯後,Cortex-Structural 恢復 88.9% 的上下文增益,同時保留 99.8% 的原有非目標表現。

  12. HuggingFace Daily Papers(社區熱門論文)50

    Latent Compaction 以測試時訓練壓縮 KV cache

    論文提出 Latent Compaction,透過測試時訓練為文件學習精簡的 KV cache,以減少長上下文生成時的記憶體用量和注意力成本。訓練先擬合全量 cache 的注意力輸出和 log-normalizers,再以端到端蒸餾優化整個 cache;模型權重保持凍結,只使用關於文件的通用提示詞,不接觸下游問題或答案。

  13. HuggingFace Daily Papers(社區熱門論文)48

    τ-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions

    τ-Emotion-Bench 以受控情緒條件下的用戶互動,評估工具呼叫智能體在長程任務中的可靠性。Tracer 是可擴展的數據生成流程,用於構建任務及收集互動軌跡,並篩除過度依賴用戶的軌跡。實驗顯示,前沿智能體的任務成功率與穩定完成任務的能力存在明顯差距;Tracer 生成的監督數據可提升不同規模的 Qwen3 模型,並泛化至未見領域及 τ-Bench、τ-Trait。

  14. 創業邦36

    AI 讀遍互聯網,仍未學會老師傅的手藝:Physical AI 欠缺的數據掌握在人手中

    Physical AI 產業化受真實數據短缺制約,老師傅掌握的手藝相關數據尚未網絡化或廣泛流通。與大語言模型可使用互聯網數據不同,Physical AI 需要真實的機械人部署數據形成閉環,並依賴算力、數據工程、模型、模擬與合成數據、運行環境及本體硬件等基礎設施。安全仍是大規模商用前的重要難關。

  15. HuggingFace Daily Papers(社區熱門論文)49

    方法更多,智能體更好?智能體強化學習中自我蒸餾的現實檢驗

    研究比較智能體強化學習中十種具代表性的自我蒸餾方法與 GRPO,發現沒有方法能在所有設定下持續勝出。評估涵蓋 ALFWorld、ScienceWorld、Search-QA 及 WebShop 四項任務、三種模型規模,共進行 132 次訓練,記錄 12,124.4 個 H800 GPU 小時。強勁的最終表現可能掩蓋訓練不穩定,增加訓練成本亦不一定帶來更佳表現。

  16. EJ Tech 信報科技 · AI40

    港落實AI訓練版權法勿再拖(郝本尼)

    香港政府自2023年起探討完善《版權條例》以應對 AI 訓練版權問題,但至今未公佈實務守則或指引,2026年《施政報告》亦未提及相關立法。美國已發布三份相關報告,中國今年則展開版權整治行動;香港媒體加入 SPUR 聯盟,嘗試透過跨地合作爭取與 AI 企業談判的籌碼。文章主張香港應盡快採取措施,保障版權人權益。

  17. HuggingFace Daily Papers(社區熱門論文)43

    COUNT:以 N-gram 計數擴展主機記憶體應用,實現免訓練適應

    COUNT 將預先計算的 N-gram 計數存於主機記憶體,無需新增學習參數即可建立嵌入向量。用於預訓練 1B 參數語言模型時,在固定計算預算下可改善驗證損失,改善幅度最高相當於使用多 57% 計算量的模型。推理時可換用特定領域語料的計數表,無需訓練即可適應新任務。

  18. HuggingFace Daily Papers(社區熱門論文)37

    Recovering Reliable Supervision via Critique-Guided On-Policy Distillation

    CriticOPD 透過批判引導的 On-Policy Distillation,改善 OPD 的監督可靠性:教師模型會參考標準答案批判學生的錯誤推理,學生再根據回饋改寫後續內容。六個數學推理基準測試中,CriticOPD 的平均準確率較 OPD 在 Qwen3-1.7B 提升 4.57 個百分點,在 Qwen3-0.6B 提升 4.06 個百分點;競賽題目上的提升最大。

  19. HuggingFace Daily Papers(社區熱門論文)47

    Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards

    CoSIR 以可驗證資訊獎勵和自我對弈強化學習微調 LLM,將協作能力納入訓練目標。在 7 項未見過的自然語言協作基準測試中,CoSIR 在 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 三個模型上均取得最高總分;Qwen3-8B 比基礎模型高 31.85 分。模型在 GSM8K、MMLU 和 IFEval 的表現大致維持。

  20. HuggingFace Daily Papers(社區熱門論文)40

    LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation

    LatentLoop 透過非對稱計算分配擴展循環 MoE 模型:壓縮第一次循環的序列,第二次循環保留完整解析度,並將節省的計算資源用於增加隱藏層大小。在涵蓋 1.3B--7B 參數的 15 種配置中,LatentLoop 的驗證 NLL 持續較低;在擬合 NLL 為 1.988 時,相較 vanilla MoE 和循環基線,預測計算量分別節省 19.0\% 和 7.9\%。