JGENai 與 VIDRAFT 推出評估 LLM 自我錯誤偵測能力的基準測試
JGENai 與 VIDRAFT 聯合發布元認知基準測試、24 個模型的公開排行榜及 11 款模型專用元認知適配器,用來評估模型能否察覺自身錯誤。基準包含 400 道陷阱題,分別評估選擇題準確率及開放式自我錯誤判斷能力;JGOS-31B-Citizen 排名 24 個模型之首,答對 398 題,陷阱題迴避率達 99.5%。
JGENai 與 VIDRAFT 聯合發布元認知基準測試、24 個模型的公開排行榜及 11 款模型專用元認知適配器,用來評估模型能否察覺自身錯誤。基準包含 400 道陷阱題,分別評估選擇題準確率及開放式自我錯誤判斷能力;JGOS-31B-Citizen 排名 24 個模型之首,答對 398 題,陷阱題迴避率達 99.5%。
Google 與 Artificial Analysis 推出多模態知識智能體基準測試 MKA,Gemini 4 Carbon 質素排名第二,平均任務成本約為榜首模型的六分之一。
Writer 的調查顯示,企業 AI 使用率高,但投資回報仍有限:70% 員工和 94% 高層管理人員每天至少使用 AI 30 分鐘,僅 29% 高層管理人員認為企業已從生成式 AI 獲得顯著投資回報。52% 員工過去一年使用過 AI agents,97% 高層管理人員已使用這類工具。調查指出,企業需建立 AI agents 治理機制,並將 AI 融入業務流程,以創造可衡量的商業價值。
CyberBinGym以100項漏洞任務測試AI智能體能否只憑已剝除符號的易受攻擊二進制檔及其修補版本,在沒有原始碼或觸發輸入下找出並利用漏洞。任務來自53個開源項目;Codex配合GPT-5.6的漏洞復原率為88%,經審核的利用率為20%,而在20項配對任務中提供修補版本後,利用率由10%升至25%。
聯合國《2026年可持續發展目標報告》指出,全球可持續發展仍在前進,但進度明顯不足。在可評估的139項具體目標中,僅36%已達標或接近預定進度,49%進展緩慢,15%較2015年倒退。2025年全球官方發展援助(ODA)下跌23.1%,而人工智能應用亦令官方統計更須重視透明度、可信度及數據主權。
OpenAI 發佈研究,分析預訓練、模型架構、強化學習及模型生成數據如何影響思維鏈(CoT)可監控性。研究發現,基礎模型困惑度下降與無 CoT 能力提升相關,部分架構在特定評測的表現亦高於困惑度所預測;強化學習在只有長度限制及最終答案評分時仍會提高 CoT 可控性,這種特徵也可經模型生成數據的監督式微調傳遞。作者指出,CoT 可控性是有噪聲且不完美的監控規避代理指標,與實際規避表現未必一致。
UC Berkeley 與 Amazon Web Services 研究團隊展示一種智能體最佳化方法,要求 Lean 證明改寫程式對所有輸入都與原程式結果相同。在 Verina 的 189 個程式中,智能體為 156 個產生經證明的加速改寫,幾何平均加速 1.85×。在 17 個遷移應用中,92 個經證明的改寫令 51 個應用情境中的 47 個加快,應用層級加速為 1.12×。
NextLadder Ventures 與 Vals AI 公佈 Access to Justice Benchmark,23 個 AI 模型在 252 個法律援助情境中均未達基準設定的 80% 可靠首輪求助門檻。
Artificial Analysis 與 Google DeepMind 推出 Multimodal Knowledge Agent(MKA)基準,評測智能體根據複雜視覺檔案完成知識工作任務的能力。
Anthropic 與 Truthful AI 等機構的研究人員在小型模型實驗中發現,加入對照式乾淨資料有時會加強投毒資料的後門效應。例如,Qwen3-8B 的投毒資料有 80% 換成乾淨資料後,在接種提示詞下的不對齊率由 7% 升至 16%,但一般助理系統提示詞下沒有變化。研究亦在其他設定及 MNIST 分類器觀察到類似效應,並指出單獨審核訓練資料可能漏掉混合資料後才出現的影響。
VibePrevisBench 是評測智能體把簡短描述轉化為可執行 4D 場景並渲染代理影片的基準,涵蓋 242 項任務及四種輸入類型。研究以規則式 Scene Check 和 VLM 式 Screen Check 評估場景與影片,並分析 11 個前沿編碼智能體:它們在空間和鏡頭運動理解方面表現有別,亦未能有效修正渲染錯誤。
Continual-ARC 以 ARC-AGI 三個版本的任務建立終身學習測試流,在凍結權重的智能體 harness 下,以同一尺度比較基於記憶與權重的持續學習。研究在 Qwen3.5-9B 和 GLM-5.3 Flash 上測試,發現 harness 持續性通常未能改善記憶,多數方法表現不及單純快取示範;權重學習則在未見任務上展現較佳泛化。
研究追蹤 5 個 LLM、2 種智能體框架及 3 個 SWE-bench 數據集,發現編碼智能體常在產生正確補丁後仍繼續執行。38–82% 的成功執行在首次原始碼修改時已得到正確補丁;核心設定下,成功執行中位數有 35–60% 的步驟是在正確補丁產生後執行。這些額外步驟主要用於驗證和探索,1–8% 的個案會把已正確的解答改壞;研究認為,改善停止判斷或可減少不必要計算。
Lang-SVG以顯式樹狀結構組織SVG圖元,並運用語義標籤和父子關係表達物件及其部件層級。它結合可控制粒度及開放詞彙的分割先驗、多模態大語言模型和多種簡化與修剪方法,提升重建保真度及結構完整性。實驗顯示,Lang-SVG在渲染保真度和結構質素上均達到最先進水平。
SO-Arena 評測 System One 模型在不同領域的能力範圍與決策可靠性,涵蓋 11 個領域及五類能力。對 21 個模型的評測顯示,擴展規模和增加推理帶來的效益因領域而異;整體表現最佳的模型在可靠性排名中僅列第七。
Iris-Z 是一個同時生成圖像外觀與深度的通用圖像生成模型,以單一骨幹網絡處理圖像生成、深度估算及依據深度繪製圖像。在足夠規模下,它在既有深度基準測試中超越專用模型,同時保留原有骨幹網絡的圖像生成能力;研究團隊向社羣發布了兩個模型。
JustRUA 在統一評測框架下研究 GPT-6 機械人操作智能體,發現保留完整回合歷史並提早停止動作的精簡評測框架可提升 RoboDojo 表現。由官方 L3 評測框架精簡而成的方案,在沒有學習策略、自我改進循環或任務專項微調下,將 RoboDojo 模擬基準分數由 29.7 提升至 50.3。場景幾何資訊帶來最大的額外收益,即使深度只由 RGB 預測亦然。
研究在 Cloudflare 的 Clef-flash(9B)與 Clef(27B)上,以同一批 2,400 項公開決策衡量量化造成的變化,並與引擎、重啟、批次及核心選擇造成的非量化波動比較。
Neuro-VL 是一個以近一百萬份常規臨牀神經影像研究訓練的視覺語言模型,可解讀完整影像檢查並以自然語言討論其發現。在內部及國際數據集上,它在診斷、定位和描述異常,以及生成完整放射科報告方面,表現優於前沿通用模型及專科醫療模型。它亦可比較連續檢查以評估病情進展,並比 OpenAI 和 Google 的領先模型更可靠地抵抗誤導性臨牀假設。
Duo v1 提出互惠世界模型(RWM),共同建模意圖與實現,以支援即時全雙工視聽互動。其技術設計包括自回歸推理、同步注意力及雙重 rollout 蒸餾;模型會持續感知音訊、影片和文字,並即時回應用戶。作者表示,Duo v1 的發布只是第一步,下一個版本即將推出。
MemInStream 是一項評測串流影片理解記憶能力的基準,透過證據控制驗證區分記憶限制與視覺理解失誤。驗證流程為問題配對時間定位證據,並排除僅憑近期觀察、證據之後的觀察或文字輸入便能作答的問題。基準涵蓋情節檢索、狀態追蹤與更新、多重證據整合及情境記憶四大類別。
Open Vision Banana(OVB)提出一套全開放、可重現的方案,把預訓練生成模型轉化為統一的多任務感知系統。OVB 使用 4B 和 9B 參數的開放權重基礎模型及 2.1M-3.8M 個訓練配對,在 Cityscapes 零樣本表現以 73.9 mIoU 超越 Vision Banana 報告的 69.9 mIoU。
Breath-Dx 使用包含 1,234 名患者、涵蓋九個診斷組別的 S-OH 數據集,評估 10 種時間序列分類方法,並以配合感測器漂移的時間切分進行測試。時間驗證的 AUC 較隨機交叉驗證低 0.05–0.12;部分肺部疾病的 ROC AUC 達 0.74–0.76,循環模型在不同疾病間表現最穩定。研究公開 S-OH 數據集、時間切分、評估流程及程式碼。
Google 根據數千名工程師的分散式追蹤資料及數億個智能體步驟,發現過時 TODO/FIXME 註釋會令編碼智能體偏離開發者要求,處理未要求的支線任務。約 13% 工作階段出現這類註釋,其中 6% 令智能體着手處理註釋所指的錯誤;這類偏離任務的工作階段平均多出 70% 步驟、77% 模型 token 和 105% 等待時間。
Stanford HAI 於 2026 年 11 月 10 日公佈第三份 AI100 報告,指出生成式 AI 擴展正受高質素數據短缺及前沿訓練成本限制。報告預期下一階段會更多依靠更智能的演算法、可能較小且較少重建的模型,以及推理階段的更多計算和工具或智能體。報告亦稱,AI 數據中心及晶片投資的規模與速度超越以往投資熱潮,但 AI 對整體宏觀經濟的影響及企業投資回報尚未在數據中顯現。
Creative priming 提出以 GRPO 訓練 priming model,按提示詞生成專屬 primer,協助 response model 產生新穎、高質素且多元的回應。此方法將創作過程與回應生成分開,透過獎勵能帶來理想回應的 primer,學習創作原則而非重複特定作品。
OpenAI 與 Upwork 的聯合研究發現,AI 相關固定報價自由工作項目的預算較可比的非 AI 項目高 52.4%,調整後的廣告時薪差距則只有 1.5%。在有正數工時紀錄的已聘用時薪合約中,AI 相關工作聘用後首 90 日的工時多 40.6%;三項調整後估算均按相同子類別及刊登月份比較。研究亦指出,兩組平台數據並非直接配對,估算反映關聯而非因果。
Stanford AI100 發佈第三份五年報告,指出過去五年由更多算力和數據推動的擴展模式,正受高質素數據短缺及前沿模型計算成本所限。報告預期下一階段將依靠更聰明的演算法、更小的模型,以及更多時間進行推理,並指出資料中心及晶片投資正加劇能源和淡水供應壓力。
OpenAI 與 Upwork 的研究指出,AI 可能正在改變自由工作者的服務需求與項目範圍,AI 相關項目亦涉及更大固定價格預算和更多工時。研究分析 63 個工作類別,其中 43 個類別呈現 ChatGPT 使用佔比較高、Upwork 職缺佔比下滑的模式。AI 相關職缺的工作組合多樣性由 2023 年初至 2025 年末增加 45%;這些項目的固定價格預算較高、工時較多,而刊登時薪相近。
SQUINT 研究提出以知識蒸餾訓練視覺語言模型,提升模型從人類可讀、但模型難以辨識的圖像中讀取隱藏文字的能力。在 SquintBench 上,Qwen3.5-9B 的分數由 26.50 升至 88.61;AdvOCR 和 HC-Bench 分數分別由 3.7 升至 66.7、由 1.8 升至 44.6,Illusory VQA 詞錯率則由 178.10 降至 67.00。
SWAM 研究如何在動作學習中維持語言與影片的對齊,並擴展世界動作模型。研究整理約 47,000 小時影片及示範數據;模型在 Easy 和 Hard 條件下的成功率分別為 88.10% 和 61.56%,三項真實世界任務的成功率為 40.00%,高於最強基線的 23.33%。團隊公開整理後的數據、訓練程式碼及模型權重。
Click3R 是一個互動式幾何校正框架,讓用戶以稀疏的跨視角對應點點擊,透過輕量級適配器向前饋式 3D 重建網絡注入幾何約束。實驗顯示,Click3R 即使只需一次對應點點擊,也能降低重建誤差,並提升在標準基準及新整理基準上的表現。
團隊以 Opus 5.5 驅動 AI 智能體,將 CPython 3.15.2 的函數逐行改寫為 Lean 模型,並以真實 Python 測試、機器證明和獨立審查驗證。
推薦理由:文章展示以逐行建模、差分測試、機器證明與獨立審查處理大型程式碼庫,並説明如何辨別形式正確但對實際行為缺乏約束力的證明。
Azul《2026 AI 漏洞差距報告》指出,企業部署關鍵漏洞修補的速度落後於安全主管對 AI 裝備攻擊者的速度預期:69% 認為攻擊者可在三天內製作可用漏洞利用程式,44% 的企業則需四天或更久才能修補。調查中,85% 受訪者表示曾遇到與修補緩慢有關的事故、疑似事故或險情;這是受訪者回報,並非經獨立核實的入侵率,也不能證明事件由 AI 引起。
Google DeepMind 團隊利用 AI 智能體完成 Signal 加密協議的形式化驗證,按既定模型以數學方法檢驗其安全性承諾。研究人員亦用該方法測試含已知漏洞的舊版協議實現,AI 成功識別問題;驗證對象是協議本身,並非 Signal 應用程式的全面安全審查。分析約耗時四週,所需計算資源未公開,Google 表示目前尚不能確定大規模推廣的實際可行性。
AI100 第三份報告指出,人工智能改變社會的速度超出預期,技術發展已超越治理步伐。報告指出,訓練前沿模型的成本高昂且高質素數據日益稀缺,未來進展或轉向更高效的模型和更深入的推理;人工智能亦正影響科學研究、經濟、網絡安全、戰場及公共信任。
Google DeepMind 團隊利用 AI 對 Signal 加密協議完成形式化驗證,以數學方法檢驗其安全性承諾。驗證對象是協議本身,而非整個 Signal 應用;研究人員亦用該方法識別出含已知漏洞的舊版協議實現。分析歷時約四週,所需計算資源尚未公佈,Google 表示目前未能確定這項技術大規模推廣的實際可行性。
一項研究分析了 2015 年至 2024 年間在 Steam 發佈的 9000 多款遊戲,發現 DEI 評分越高,遊戲銷量下降 5.26%、收入下降 7.69%。研究使用 DeepSeek R1 為遊戲評定 1 至 5 分的 SBI 評級,並指出中國等較保守地區的影響更明顯。研究仍在進行中,作者提醒目前結果不能視為定論。
Google DeepMind 介紹 AlphaProof Code,利用 AI 智能體為 Signal 編譯後的 libsignal 程式碼生成經 Lean 核查的證明,以驗證指定安全性質。五人研究團隊用四星期完成證明工作,生成約 6.5 million 行 Lean 證明碼,並公開規格及驗證材料供外部檢視。驗證範圍不涵蓋 Signal 完整應用,亦依賴人類審核的規格及明確假設。
推薦理由:研究呈現 AI 智能體承擔 Lean 證明構造的分工,同時説明安全保證仍取決於人類審核規格、可信假設及驗證範圍。
Google DeepMind 研究人員使用 AlphaProof Code,對 Signal 加密協議的實際編譯程式碼進行形式化驗證,證明其符合指定的關鍵安全性質。這個多 LLM 智能體框架生成超過 600 萬行 Lean 證明,並將需人工複查的範圍縮至程式碼庫的 1%;整個驗證流程歷時四週。Google DeepMind 將公開形式化驗證成果供社羣使用。
推薦理由:文章展示 AlphaProof Code 如何把形式化驗證延伸至 Signal 實際程式碼,並以 Lean 機器檢查證明,呈現驗證協議設計與實作落差的一種方法。