跳到正文
目前篩選:論文
10月29日週四
  1. DEV Community52

    「一律選 D」在 MMLU 高中統計題的準確率達 46.7%,研究按科目及資料分割分析答案位置

    Munim, Inc. 的 AI 智能體研究檢視 MMLU 各科及 OpenBookQA 各資料分割的正確答案位置,發現 MMLU 的末項偏差集中於少數科目,而 OpenBookQA 整體呈輕微 A 偏差。MMLU 高中統計題中固定選 D 得 46.7%,OpenBookQA 測試集固定選 A 得 27.6%。研究指出,閉卷準確率應與相應基準及科目的選項位置基線比較,而非一概以 25% 為準。

  2. DEV Community43

    NeurIPS 2024 前瞻:零樣本學習是個誤稱嗎?

    研究分析34個多模態模型後指出,所謂零樣本表現可能來自模型在預訓練期間接觸過相關概念,而非真正的泛化;概念在預訓練資料中出現的頻率,能有力預測模型表現。研究發現,概念頻率與零樣本表現呈對數線性關係,模型需要指數級增加訓練資料,才能取得線性表現提升。測試包含290個罕見概念的「Let it Wag!」數據集時,受測的50個CLIP模型表現均遜於ImageNet。

  3. DEV Community34

    NeurIPS 2024 前瞻:打造 SPIQA,回應現有科學 VQA 數據集的侷限

    SPIQA 是面向科學論文理解的大規模數據集,納入論文全文、圖表及相關説明文字,以支援多模態科學 VQA。數據集涵蓋超過 25,000 篇論文、150,000 張圖及 117,000 個表格。研究團隊結合 LLM 自動生成問題與專家人工篩選,89% 的 LLM 生成問題在人類評估者眼中與人工撰寫的問題難以區分。

  4. Cohere Labs:官方研究博客42

    SLAM-ASR 的單語 ASR 訓練線性投影器能實現甚麼零樣本口語理解?

    研究測試以 11 種語言訓練的 SLAM-ASR 單語投影器能否讓模型執行零樣本口語理解,結果顯示投影器未能有效傳遞相關能力。回答是非問題的平均指令遵循率為 49.8%,要求以單一數字選項作答時則升至 81.3%。主題分類平衡準確率為 23.2%,低於同一解碼器使用參考轉錄文本時的 71.5%。

  5. Cohere Labs:官方研究博客57

    AfriGuard 研究非洲語言的安全性與穩健拒答

    Cohere Labs 提出 AfriGuard,一個涵蓋 10 種非洲語言及英語、用於研究有害意圖、安全類別理解和拒答行為的多語言數據集。防護模型在安全意圖及安全類別分類上的表現遜於開源及閉源大語言模型;模型對恰當安全行為的理解得分低於 60% F1,亦常因語言表達不足而未能提供適切協助,而非明確拒答。

  6. HuggingFace Daily Papers(社區熱門論文)35

    AGI 的規模化是否取決於 System-1 讓 System-2 執行甚麼?

    研究提出,將輕量級的 System-1 預測器與資源密集型的 System-2 推理系統共同設計,可先篩選候選互動,再由 System-2 執行值得付出成本的互動。理想篩選且執行成本相同時,執行計算量可降至接近原來的 1/ρ_u;預測錯誤、探索及分佈轉移會減少節省幅度。研究認為,有用互動的密度是衡量規模化效率的指標。

  7. HuggingFace Daily Papers(社區熱門論文)44

    DyCraft:用智能體生成長時程 4D 場景的系統

    DyCraft 將動畫製作拆分為靜態場景、關鍵幀故事板和局部動作編排,以減少長時程 3D 動畫中的物理錯誤。系統在 24 項長時程、多鏡頭動畫任務中接受評估;與 Codex 中原生 GPT-6 智能體及先前的智能體基線相比,它減少了物理違規,生成的動畫 3D 場景品質較高,也更常獲人類評審選擇。

  8. HuggingFace Daily Papers(社區熱門論文)46

    WorldBridge:連接影片與動作,提升世界動作模型的任務泛化能力

    WorldBridge以分開的影片專家和動作專家結合影片預測與稀疏動作監督,提升機械人任務泛化,並在多項操作基準測試中取得比較方法中的最先進表現。在RoboTwin 2.0上,加入新任務影片後成功率由25.07%升至55.90%,每項任務再加入一個有動作標籤的示範後升至70.70%。

  9. HuggingFace Daily Papers(社區熱門論文)47

    視覺語言模型在哪些 3D 推理任務上失敗?

    BedBench 顯示,視覺語言模型難以準確計算 3D 物件各顏色的數量,並在回答中一致地運用這些計數。基準涵蓋 13 項任務;人類準確率為 93.3%,最佳模型為 7.2%。針對性微調令一個模型的準確率由 3.0% 升至 68.6%,但其答案仍與自身計數不一致;程式碼和數據集已公開。

  10. HuggingFace Daily Papers(社區熱門論文)62

    《我如何對齊你的模型》提出以模板擴大多語言安全訓練的方法

    研究團隊提出可擴展的模板式資料增強流程,並發布涵蓋 60 種語言的 MSafeTemp 語料庫,用於多語言安全對齊與評估。研究發現,僅以英語評估會誤判多語言安全:在英語中無法奏效的攻擊,翻譯後可奏效;加入文化本地化變體則會揭示單靠翻譯未能發現的失效。研究亦指出,以模板擴充安全訓練資料可提升多樣性和對齊質素,並改善英語以外的安全表現。

  11. HuggingFace Daily Papers(社區熱門論文)51

    「我們應否批准?」:Caper 提出自主編碼智能體的後果感知審批方法

    論文提出 Caper,讓自主編碼智能體先在帶系統呼叫追蹤的快照沙盒預先執行命令,再按觀察到的實際效果審批。LLM 審批器檢視檔案變更、網絡連線嘗試及秘密資料讀取;與六種現有系統相比,Caper 在 SABER 和 YoloFS-Ext 的有害結果率分別為 6.7% 和 7.8%,而其他系統至少為 14.8% 和 35.3%,且只阻擋 1.0% 的安全對照命令。

  12. HuggingFace Daily Papers(社區熱門論文)38

    CodeSpecWeave 如何透過互相依存的規格擴展長期編碼任務

    CodeSpecWeave 透過合成帶有互相依存規格及經驗證測試的軟件開發任務,訓練編碼智能體,提升其在長期基準測試上的表現。研究團隊以此流程建立 4,670 項訓練任務,涵蓋 2,865 個程式碼庫;在這些任務上進行強化學習,模型表現顯著優於基礎模型及現有基準方法。

  13. HuggingFace Daily Papers(社區熱門論文)43

    MAServeBench:以分層協作工作負載評測多智能體 LLM 服務系統

    MAServeBench 將多智能體協作建模為可配置的服務工作負載維度,用於評估 LLM 服務系統及硬件。其可組合階段和分層語義追蹤記錄智能體協作、上下文交換、實際操作及依賴關係,支援可重現比較。任務關聯測量連結工作負載、服務執行與 GPU/NPU 硬件表現,並顯示服務效率不一定能轉化為及時完成任務。

  14. HuggingFace Daily Papers(社區熱門論文)43

    LLM 強化學習中訓練與推理不匹配的起源與演變

    這項研究追蹤 LLM 強化學習中訓練與推理不匹配的來源,並提出差異—滯後校正(DLC)以穩定訓練。研究將不匹配拆分為引擎數值差異和策略滯後,並在有效樣本量低於一半時重新同步取樣器。DLC 在 Qwen3-0.6B 和 Qwen3-1.7B 上,將與 on-policy 訓練的 KL 散度維持在兩次獨立 on-policy 訓練之間 KL 散度的兩倍以內。

  15. HuggingFace Daily Papers(社區熱門論文)50

    CaPtain:透過後訓練將機器人智能體打造成以程式碼為策略的系統

    CaPtain 是一套開放的後訓練流程,透過監督式微調和多輪強化學習,讓小型開放視覺語言模型以程式碼操控機械人,測試時不需使用前沿模型或視覺語言動作模型。以 Qwen3.5-4B 為基礎的 CaPtain-4B,在 LIBERO 測試集經強化學習後成功率達 73.8%,在 LIBERO-PRO 達 78.5%。研究團隊公開程式碼、數據及模型權重。

  16. HuggingFace Daily Papers(社區熱門論文)42

    強化學習如何激勵大語言模型自主學習

    研究提出以 BookNavigator 配合強化學習和細粒度獎勵,訓練大語言模型從長篇教材中自主檢索、學習並應用知識,完成數學證明題。Intern-S2-Preview-35B 的整體證明準確率由 51.5% 升至 79.5%,並在 BrowseComp-Plus 和 CL-bench 上分別較基礎模型提升 1.7 和 2.3 個百分點。

  17. HuggingFace Daily Papers(社區熱門論文)41

    以結構化教科書擴展數學證明監督:TOME-Math

    使用 TOME-Math 微調後,語言模型在數學評測中的非加權平均分數較基礎模型提高 16.7 個百分點,整體表現亦超越受評估的三種公開指令數據基線。TOME-Math 將 2,118 本大學數學教科書轉換為約 380K 筆結構化證明監督記錄,並保留章節順序、命題與證明連結、依賴關係及來源資訊。研究團隊表示將公開這個語料庫,以促進結構化數學監督研究。

  18. HuggingFace Daily Papers(社區熱門論文)36

    SynthFaces:均衡的大規模人臉數據集

    SynthFaces 以 Arc2Face 擴散模型結合身份嵌入向量上的 flow matching,生成具多元身份、標籤分佈均衡的合成人臉數據集,供生成模型訓練及微調。數據集中的圖像與身份均為合成,旨在減少對真實個人圖像的直接依賴,並以最近鄰非洩漏指標檢查身份分離。研究亦展示以該數據集微調現有的 adapter-based 個人化生成方法。

  19. HuggingFace Daily Papers(社區熱門論文)53

    Wizard:透過智能體控制即時操控任意世界

    Wizard 提出一套透過智能體控制即時操控遊戲世界的方法,將角色動畫、場景操控及遊戲邏輯與視覺生成解耦。研究構建了涵蓋 750 個場景及 178 個角色、共 50.3 小時的代理-影片配對資料。透過因果適配及少步蒸餾,系統可在 24 FPS 下互動,並零樣本泛化至未見場景、角色及動作。

  20. HuggingFace Daily Papers(社區熱門論文)48

    HALO:以人類為基礎的主動式智能體細粒度評估

    HALO 推出以人類標註為基礎的主動式智能體評測基準及數據集,結果顯示過度主動是主要失誤模式。HALO-Arena 涵蓋 4 類需求、10 個日常領域及 50 個個人環境;HALO-8K 收錄 10 個模型在 400 個情境中的 8,000 個回應,由 20 位專家標註。最佳閉源及開源模型的可接受度分別為 72.88% 和 56.63%,被拒回應中有 61.20% 涉及時機過早或介入力度過大。

  21. HuggingFace Daily Papers(社區熱門論文)43

    TSFLab:用於時間序列預測研究的自我改進、智能體無關工作台

    TSFLab 是一個自我改進、智能體無關的工作台,為編碼智能體提供共享資源,以支援時間序列預測研究及基準測試。在重現研究和基準測試中,TSFLab 的任務完成率提高 20-163%,每項已完成任務所需的新增 tokens 減少 11-66%。方法開發試點研究亦顯示,TSFLab 提高預測準確度,並減少 32.8-73.6% 新增 tokens 和 9.2-68.8% 開發時間。

  22. DEV Community52

    MMLU「答案是 D」傾向主要源於「以上皆是」類選項

    MMLU 審計發現,移除含「以上皆是」等元選項的 770 道題目後,答案位於 D 的比例由全體的 26.7% 降至 25.7%,最常見位置改為 C。這些題目佔全體 4.86%,佔整體末位正解超額的 60.9%;384 道含「以上皆是」選項的題目中,該選項有 59.6% 為正解。

  23. DEV Community40

    十六進位字面值令 LLM 程式碼審查器發出誤報

    測試發現,間接寫法令 7 個表現最佳的開源模型在 80 對程式碼上的平衡準確率下降 4.5 個百分點。事後審核的 47 對中,準確率下降 5.3 個百分點,誤報率上升 9.1 個百分點,主要來自對正確程式碼額外發出警示。作者以 0xC00 表示 3072-bit 密鑰長度作例子,但研究未直接驗證模型是否因不熟悉寫法而誤報;預印本尚未經同行評審。

  24. DEV Community54

    研究比較三家 AI API 對 21,812 份 MCP 伺服器工具清單的拒絕規則

    作者以三家 API 測試 21,812 份 MCP 伺服器工具清單,發現清單會在模型讀取前經 API 檢查,同一份清單在不同 API 可能得到不同結果。Anthropic、OpenAI 和 Google API 分別明確拒絕 456、591 和 7 份清單;Google 另有 135 份回覆未説明原因,文章並整理工具名稱、輸入 schema 結構及工具數量等相容性檢查項目。

  25. Hacker News 熱門(buzzing.cc 中文翻譯)49

    DAYJOB: Tax:以50項專業税務任務評估 AI 智能體

    Surge AI 推出 DAYJOB: Tax,透過涵蓋八個税務領域的50個環境,評估 AI 智能體的專業判斷與税務工作能力。Claude Sonnet 5.5 以10.8%的通過率排名第一,其次是 Claude Fable 5.1(9.6%)和 Claude Opus 5.5(9.2%)。評分採用 pass@1,須達到任務評分標準的95%才算通過。

  26. Replit:Blog54

    Replit 發佈 ViBench 2.0 長期軟件開發基準測試

    Replit 發佈 ViBench 2.0,這項長期軟件開發基準測試評估 AI 智能體能否從空白專案開始,逐項加入功能以建立完整產品。測試涵蓋 17 款產品、241 項功能需求和 544 份測試計劃;GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 的 pass@1 分別為 65%、60% 和 49%。近四分之三的頂尖模型失敗建置,只在功能之間的互動測試中未能通過。

  27. LangChain:Blog51

    LangChain 以 OpenWiki 和證據圖譜建立有證據支撐的 Agent 記憶

    LangChain 在 111 份合成保險文件上測試 OpenWiki,跨文件問題的答案準確度約為單靠搜尋的 5 倍。加入證據圖譜後,準確度再升 27%、引文一致性倍增,中位回答時間減少 40%,每個正確答案的成本降低 58%。圖譜沿用現有引文和文件參照建立,毋須額外模型呼叫;簡單查詢則未見準確度提升,搜尋速度更快。