XYBench 基準測試發佈,評估 AI 助手能否識別問題背後的真正需求
研究團隊推出 XYBench,以 8,115 個真實問題評估 AI 助手能否識別用戶的錯誤假設,並回應其實際目標。在 Stack Overflow 子集中,五個受測模型提供原始請求解法的比例為 75–86%,提供底層目標解法的比例為 59–71%;回答主要聚焦底層目標的比例為 35–41%。
研究團隊推出 XYBench,以 8,115 個真實問題評估 AI 助手能否識別用戶的錯誤假設,並回應其實際目標。在 Stack Overflow 子集中,五個受測模型提供原始請求解法的比例為 75–86%,提供底層目標解法的比例為 59–71%;回答主要聚焦底層目標的比例為 35–41%。
芬蘭邏輯學家 Jan von Plato 使用 Claude 梳理 Kurt Gödel 的 16 本工作簿,整理出 Gödel 曾證明、勾勒證明或構想證明的 663 項定理。這批手稿共 1,009 頁;經 Coq 核驗,約 400 項按原述成立、約 200 項需修訂,約 50 項錯誤。
混合決策模型(HDM)透過自我路由區塊,在單次前向傳遞的隱式思考與自回歸推理之間作出選擇,並以 CDPO 訓練路由區塊。在 JevBench 上,HDM-4B 得分為 0.857,對比 Jev 的 0.851(+0.7%);中位延遲為 0.179\,s,對比 0.652(-72.5%)。在 MiniWoB 上,HDM-27B 將 token 成本降低 80.1%。
Ai2 發佈 XYBench,這個包含 8,115 個真實問題的基準,用來評估 AI 助手能否識別用戶問題中的錯誤假設,並轉向處理其真正目標。在 Stack Overflow 題目中,五款受測模型只有 35–41% 的回答主要聚焦真正目標,人類參考答案則為 55%。另在二選一測試中,六款模型有 71–84% 選出目標導向答案,顯示模型選出好答案與自行寫出好答案的表現有落差。
前 OpenAI 研究員 Will DePue 稱,六個自 2026 年 4 月起發布的中國 AI 模型帶有 Nvidia Blackwell GPU 的權重初始化特徵。
研究提出一種經驗交接強化學習方法,讓語言模型智能體在固定框架下學習執行任務、反思經驗及整理任務專用手冊,並按這些經驗對未來執行結果的影響來評估其效用。該方法在多項智能體基準測試中的留出表現高於基線方法。
受控實驗顯示,多模態語言模型不需要預訓練視覺編碼器;從零開始與主幹模型聯合訓練的編碼器,表現可媲美預訓練編碼器,且毋須額外訓練階段。模型需要專用視覺容量,但不必在融合前配置;將視覺模組加入主幹早期層並在融合過程中訓練,表現相若,亦可縮短首個 token 的生成時間。
NestDaddy 首輪測試官方 MCP 登錄庫中的 37,383 個遠端伺服器,當中 33,496 個(89.6%)有回應。21,049 個無需金鑰便展示工具,12,447 個先要求金鑰;成功展示工具的伺服器合共列出 292,447 個工具,初始化回應時間中位數約 500 ms。
Sunny Chokshi 建立 CommentInject,測試誤導性程式碼註解會否影響大語言模型程式碼審查器對同一段程式碼的判斷。數據集涵蓋 30 個有漏洞的 Python 函數、14 個 CWE 類別及 12 種註解策略。研究中,加入誤導性註解後,漏洞檢出率由 90.0% 降至 75.2%;移除註解後回升至 90.0%。
陸軍軍醫大學與加拿大曼尼托巴大學團隊構建集成微針互鎖黏合系統(iMAS),整合快速血管吻合、無線即時監測與 AI 分析。在大鼠頸總動脈吻合模型中,平均吻合時間由傳統縫合的38.83分鐘縮短至8.59分鐘,約減少78%;小型豬血管實驗則展示其進行小血管吻合的可行性。
Codex 對 Marionette 等六種技術堆疊各生成四個 Pokémon 應用,並比較成本、耗時、token 用量與交付質素。Marionette 的假設 API 成本中位數為 $0.3107,每次生成中位數需 5.07 分鐘;四個應用均通過 54 項驗收測試,但成本並非實際帳單。
北京腦科學與類腦研究所李瑩、吉妮團隊在 Cell 發表研究,揭示幼年動物的多巴胺信號會因不同社交行為而變化,並參與塑造社交策略。研究團隊結合人工智能行為分析、神經信號記錄與實時調控,在自閉症動物模型中改善了社交玩耍行為。研究屬動物模型基礎機制研究,結果不能直接推廣至人類臨牀應用。
研究以雙向 LSTM 將 Wi-Fi CSI 序列與按鍵特徵關聯,測得被動推斷的 F₁ 在視線可及辦公室達 85.4%,隔着 15 cm 石膏板仍為 61.2%。
Google DeepMind 開放 WeatherNext 3 所依託的 SatWeave 與 PARDIG 數據集,提供即時數據流及 CC BY 4.0 授權;PARDIG 歷史檔案涵蓋 1999 年至 2026 年。
清華大學江瑞課題組發布單細胞蛋白組基礎模型 ProtCell,並在摩爾線程 MTT S5000 上完成全流程預訓練復現。模型以約3.8億個細胞及98個公開數據集進行預訓練與評估,雙平台主要定量評測指標差異約0.2%。ProtCell 程式碼已在 GitHub 開源,官方倉庫整合 MUSA 預訓練啟動入口。
中山大學梁曉丹團隊提出 GeoThinker 系列兩項研究,先讓視覺語言模型按需利用外部幾何資訊,再以 GeoThinker-F 探索由模型內部生成空間線索。相同訓練數據下,GeoThinker-F 的六項空間智能基準平均得分為 62.21,與 GeoThinker 的 62.23 幾乎相同。GeoThinker-F 推理延遲由 1.45 秒降至 0.40 秒,速度提升約 3.6 倍。
中國科學院合肥物質院健康所、合肥腫瘤醫院等科研團隊提出 M³Net,模仿醫生先看全局、再看局部和細節的診斷流程,分析肺結節胸部 CT 影像。模型在 LIDC-IDRI 和 USTC-FHLN 數據集上的分類準確率等指標均較十二種 AI 算法提升,參數量與運算成本亦較低。
OpenAI 將「Respecting Warnings」評測與去識別化 Codex 生產日誌中的可比決策對照,發現六個模型在評測中的成功率均低 10.2 至 37.4 個百分點。研究將差距歸因於模型誤判評測目標,把真實權限警告當成提示注入而忽略。文章建議以結構匹配的線上樣本檢查評測與生產成功率的差異,而非用評測絕對分數作準入門檻。
中國科學院合肥物質院科研團隊提出 M³Net,模仿醫生先看全局、再看局部和細節的流程,利用多尺度影像分析肺結節良惡性。模型在 LIDC-IDRI 和 USTC-FHLN 數據集上的分類準確率等指標均較十二種 AI 算法提升,參數量與運算成本亦較低。
DeepStress 是一套動態壓力測試框架,透過可控地降低檢索證據品質,測試搜尋智能體在不同證據條件下的表現。研究以 HotpotQA 和 BrowseComp-Plus 的問題評估 12 個系統,發現多個開放權重智能體在來源有明顯可信度警號時仍會自信作答。許多 HotpotQA 問題即使所有檢索文件均有事實錯誤,仍會依靠模型參數中的知識作答。
Test-Time Baking(TTB)透過把跨視圖注意力中的全局場景資訊烘焙至輕量 MLP,提升僅解碼器大型視圖合成模型的新視圖解碼品質,同時維持 Test-Time Training 的渲染效率。TTB 在多個 benchmark 上達到最高 23x 渲染加速,品質媲美當前最先進方法。
論文作者報告,TestPrism 將評測標準由單一參考答案改為多補丁面板後,14 種 Coding Agent 配置中最佳成功率由 59.67% 降至 28.00%。新標準要求測試在基線上失敗、接納全部正確實作並拒絕全部錯誤實作;286 條失敗軌跡中,50.0% 屬於錯誤檢查。
這篇綜述整理可信任智能體 AI 在安全與私隱方面的研究,將核心問題歸納為行動能否經環境驗證、敏感資料能否妥善保護,以及系統運行時實際洩漏甚麼。作者以推理、驗證、保護和審計構成四層信任架構,涵蓋安全營運、裝置端談判、對話智能體及多智能體洩漏審計。
Ropedia Xperience 2 提出以環境和行為共同採集為核心的具身 AI 數據方案。數據包括 1,589 個已公開、具公制尺度的 3D 掃描,以及涵蓋 74 項任務、共 131 小時的 4,230 段第一視角錄影。場景可轉成具物理互動性的模擬環境,人類動作可重定向為全身機械人軌跡,並以虛擬遙操作和自動生成長時程軌跡補充機械人行為,為研究環境與行為的規模擴展規律奠定數據基礎。
Ropedia 發佈 Physical AI 數據集 Xperience 2,將真實場景掃描與人的第一視角活動記錄對齊,涵蓋場景幾何、影片、軌跡及身體姿態。本次發佈包括 1,589 個場景、12 類真實空間;技術報告展示把掃描場景轉成可互動模擬環境,以及將人體動作重定向為機械人軌跡等用途。
PhysLoop 以大語言模型引導影片生成、篩選及修正,協助影片生成模型生成符合物理規律的影片並自我改進。研究團隊公開了涵蓋室內及室外場景的 100K 段影片、生成工具,以及 PhysLoop-Gen 和 PhysLoop-Repair 兩個評測數據集。研究亦以 Physics-IQ Verified benchmark 評估影片的物理表現。
UniSpark-9B是一款探索混合注意力的統一多模態模型,每個分支約有9B參數,支援視覺問答、文字生成圖像、指令引導編輯及交錯文字與圖像預測。模型在MME-S取得2470.3分,在GenEval取得0.83分,並將圖像合成能力延伸至2K。
WorldDraft 評測基準用來衡量影片模型在程式碼構建 4D 世界後,能否保留世界運動並呈現指定視覺效果。基準包含 432 個測試案例,涵蓋 48 個可執行的 4D 世界類別;對 12 個代表性模型的評估發現,來源線索衝突可引發高達 64% 的來源洩漏。研究提出 WorldDraft-Primer,一種視覺提示策略,可提升凍結影片渲染器在兩項目標上的表現。
FOAM 是一種輕量級 SOAP 變體,透過僅輸入端預處理及因子化 Adam 矩估計器,降低記憶體使用量並移除一次特徵分解。LLM 預訓練測試顯示,FOAM 在 124M 至 760M 參數規模下,驗證損失媲美 SOAP 和 Muon,優化器狀態僅為 SOAP 的一半,運行速度則達 Muon 級別。它亦能在三倍學習率範圍內保持穩健。
研究發現,表現不佳的決策模型仍可透過評判完整行動軌跡,有效教導強化學習策略。JEV以GRPO訓練Qwen2.5-1.5B策略後,ALFWorld成功率由72.8%升至82.9%,WebShop則由56.8%升至71.4%。逐一判斷每個行動是否有幫助,能區分有用和無用的行動。
LoopVQ 以低於 1 bit 的精度壓縮 KV cache,提升長上下文解碼速度及服務吞吐量,無需重新訓練底層 Transformer。每個元素採用 0.5 bits 時,32K tokens 下的解碼延遲約為 BF16 的一半;在 1.4B 和 2.6B Ouro 模型上,峯值服務吞吐量分別提升最多 4.3× 和 6.1×,一般批次大小下每秒請求量約增至兩倍。
浙江大學團隊提出 SpaceCast-Bench,評估 VLM 根據場景變換推斷新空間關係的能力;21 個模型中最高準確率為 58.0%,人類為 87.2%。基準涵蓋 182 個真實室內場景、3862 道問題和 16 類任務;6 個空間專項模型準確率為 25.7% 至 29.1%,接近 25.9% 隨機基線。提供文本形式的 3D metadata 後,閉源模型平均提升 30.7 個百分點。
MIT 研究人員研發協作式 AI 設計系統,讓工程師在拓撲優化生成結構時提供意見,改善結構的可製造性及線性屈曲載荷。研究示範顯示,這種人機協作方法令兩項指標提高 39%,相比全算法設計只增加 15 秒設計時間。系統利用機器學習找出最可能需要修改的設計區域,供工程師提供意見。
研究提出以自適應計算訓練多層深度的 System One 決策模型,讓單一模型按需增加計算,提升準確度與效率的取捨。研究發現,決策資訊集中於中間層,移除最後六層仍不損失表現。該方法在七項決策基準測試中,各深度的表現均媲美或優於獨立訓練的模型。
IsoKron 審計 GitHub、Grafana、PostHog、Kubernetes 四個 MCP 伺服器,發現測試中出現並行更新遺失或過期資料覆蓋。
Google DeepMind 發佈 AlphaProof Code,讓人類專家與 AI 智能體協作驗證軟件,並在若干假設下,對 Signal 協定參考實作 libsignal 的編譯後機械碼證明若干安全性質。
在四項 TypeScript 程式碼議題、共 24 次測試中,兩個以同一個 27B checkpoint 壓縮至每個權重約 2 bit 的模型平均同得 13.33/15,未顯示質素差異。
PubMed 不會把加引號的舊 MeSH 標題映射至新標題,令相關搜尋找不到記錄。測試 2016 至 2019 年更名的標題後,259 個舊主題標題中有 246 個、4 個舊地理名稱中有 3 個會觸發「quoted phrase not found」。pubmed-pt-check 0.1.5 可識別查詢中的舊名稱,並以現行標題改寫。
德州農工大學研究團隊提出 5G CATS,把 5G 無線電直接封入 GPU 封裝,以驗證晶片實際運行地區,防止走私。使用 ns-3 和 5G-LENA 的模擬顯示,方案每次都能攔截 300 公里外的光纖中繼攻擊;預設 5G 則要到 2000 公里才可攔截。99.9 百分位往返時延波動由 39.28 毫秒降至 2.60 毫秒。
毛德華團隊利用遙感大數據和雲計算平台,實現國家尺度濕地動態監測,涵蓋2016—2024年,空間分辨率為10米,平均總體精度達81%以上。團隊評估了1980至2020年間中國濕地景觀變化對土壤有機碳庫的影響,發現濕地保護與恢復可抵消濕地農田化造成的部分碳損失。