美團以「一條指令作基準」評測大語言模型:九條指令、九個模型,排名隨指令改變
美團技術團隊以 FlexBench 評測九個大語言模型在九條目標指令下的表現,發現模型排名和失敗模式會因指令而顯著不同。實驗共生成 3,888 段對話,並以覆蓋率衡量工作流程推進程度、以達成度衡量各步條件是否符合。這種指令條件化評估不回答哪個模型最強,而是檢查模型能否按特定指令完成工作流程。
美團技術團隊以 FlexBench 評測九個大語言模型在九條目標指令下的表現,發現模型排名和失敗模式會因指令而顯著不同。實驗共生成 3,888 段對話,並以覆蓋率衡量工作流程推進程度、以達成度衡量各步條件是否符合。這種指令條件化評估不回答哪個模型最強,而是檢查模型能否按特定指令完成工作流程。
VideoMemBench 評測 25 個模型在影片多輪對話中的記憶能力,Claude Opus 5 綜合得分 45.7,位列第一。數據集包含 326 段影片及 2,476 輪問答,其中 1,387 輪需要依賴前文,評測分為場景依賴和答案依賴。依賴距離由 1 輪增至至少 5 輪時,受測模型的平均準確率由 30.2% 降至 23.1%;Claude Opus 5 的答案依賴指標為 35.7%。
作者在致函 17 天後再次測量 npm 和 PyPI 的惡意套件資訊源,並比較登記處處置、資訊源更改及掃描器測試結果。在 7,483 個抽樣標記中,登記處另處理 34 項,沒有任何項目恢復上架;研究亦把 854 項 npm 新標記由「仍可用」修正為「佔位」。完整報告、方法和數據已公開,數據存於 Zenodo,DOI 為 10.5281/zenodo.24415130。
兩份競爭性的黎曼猜想證明於 11 月 20 日公開,其中一份來自 Anthropic。數小時後,美國數學會主席發佈一名史丹福年輕研究者撰寫、未使用 AI 的草稿。
GitHub 開源的 ReviewBench 是 AI 程式碼審查離線基準,以 219 個公開 PR 建立黃金集;未參與建集的資深工程師重新標註真實發現,與基準判斷的一致率為 96.6%。
研究者以相同流程,在 10 個 CVE 案例上測試 agnes-3.0-flash、agnes-2.5-pro 和 sensenova-ds,發現三個模型分別命中 10/10、9/10 和 9/10。兩個漏報案例沒有重疊,但每格只測試一次,命中率仍不能視為穩定比率。跨模型的風險分數中位差為 30,同一模型跨次測試則為 21。
悉尼大學與昆士蘭大學團隊研發可生物降解鈣鋁硅酸鹽納米材料,用於修復先天性唇顎裂患兒的頜骨缺損。材料透過激活潛伏型 TGF-β1,引導幹細胞分化為成骨細胞,並可在約 30 秒內促進血液凝固。材料會隨新骨形成逐步降解,避免二次手術取骨。
Levent Alpöge 與 Claude 公佈黎曼猜想的 Lean 形式化證明,James Maynard 估計其有 98% 至 99% 機會正確。Andrew Sutherland 確認證明通過三個獨立外部驗證內核的全量複核,官方防篡改複驗仍在收尾。數學界的討論亦聚焦於如何理解其論證,以及現有期刊審查和千禧年獎規則如何處理這類程式碼證明。
推薦理由:文章把形式化驗證與數學理解的落差,連同學術出版和千禧年獎規則面對的挑戰,放在同一案例中梳理。
NYU 的 Tristan Buckmaster 與 Anthropic 的 Levent Alpöge 發表一項 AI 輔助證明,論證 Navier–Stokes 方程會發生爆破。兩人表示,該證明補上了 OpenAI 解法中的一個漏洞。
西北大學研究團隊開發 FLIP,從詹姆斯·韋布太空望遠鏡(JWST)的舊有觀測數據中辨認出此前已由地面望遠鏡發現的 51 Eridani b,闇弱行星探測靈敏度提升約 2 至 15 倍。
西北大學研究團隊開發物理模型成像方法 FLIP,重新處理韋布望遠鏡的舊觀測數據,辨認出巨行星 51 Eridani b,闇弱行星探測靈敏度提升 2 至 15 倍。FLIP以望遠鏡數碼孿生模型重建恆星光暈,並非使用人工智能識別行星;在傳統方法未能探測到 51 Eridani b 的 F430M 觀測中,信噪比達約 6.3。
兩名數學家在數小時內先後聲稱獨立證明黎曼猜想,其中 Anthropic 數學家 Levent Alpöge 表示曾獲 Claude 協助,並以 Lean 程式公開證明。Elliot Glazer 指出,形式化命題實為廣義黎曼猜想(GRH);Alessandro Masullo 則公佈一份約 940 頁、由人手撰寫的 GRH 證明草稿。文章指出,這項 AI 相關證明尚未核實,Lean 程式仍在編譯。
Anthropic 數學家 Levent Alpöge 公開 14 個 Lean 壓縮檔案,聲稱與 Claude 合作完成黎曼猜想的形式化證明。他沒有發表完整論文,而是將證明拆成 14 個壓縮檔案;若整理成載有全部細節的文檔,篇幅會超過25萬頁。Lean 能檢查形式化推導,但外部研究者仍須確認代碼能否完整編譯、使用了哪些公理,以及最終定理是否確實等價於黎曼猜想。
數學家 Alessandro Masullo 公開一份聲稱證明廣義黎曼猜想(GRH)的 940 頁手稿《The Music of the Primes》,作者稱研究歷時近 12 年,完全未使用 AI。
Anthropic 數學家 Levent Alpöge 聲稱與 Claude 合作找到黎曼猜想及廣義黎曼猜想的證明,並公開分為14個壓縮檔的 Lean 形式化證明材料。外部數學家仍需檢查檔案能否完整建構、是否依賴未經證明的假設,以及程式中的定理是否真正對應黎曼猜想。
推薦理由:報道交代了形式化證明材料的公開方式和外部核對重點,呈現機器可檢查的程式與數學界確認證明之間尚有的審查環節。
Anthropic 數學家 Levent Alpöge 聲稱與 Claude 找到黎曼猜想及廣義黎曼猜想的證明,陶哲軒表示數學界梳理核心思路並驗證正確性仍需時間。逾 25 萬頁文字證明未有公開,現有材料包括 4 頁説明,以及分成 14 個壓縮包、合共約 1,700 萬行的 Lean 形式化程式碼。克雷數學研究所規定解答須在同行評審期刊發表,並經至少兩年驗證及獲數學界普遍接受,才可進入獎金評審程序。
Anthropic 研究員 Levent Alpöge 宣稱與 Claude 完成黎曼猜想及廣義黎曼猜想的證明;該成果目前只是個人宣稱,未經同行評審,Anthropic 亦未公開背書。
加州大學聖塔芭芭拉分校研究者評估19個視覺語言大模型,發現它們判斷場景物件重要性時均與人類有顯著差異。研究以307張原始場景及1306張反事實場景作比較,並以227名參與者的16603條描述建立人類基線;論文:https://arxiv.org/abs/2605.13047。
Architect Labs 發佈通用 CPU Frostbite,官方稱其指令集、微架構、RTL 至最終版圖均由 AI 系統端到端完成,25 項負載的每瓦性能幾何平均為對比核心的 4.59 倍。
《經濟學人》報道提出,AI 可能已解決數學中最重要的問題。討論串提及廣義黎曼猜想相關的證明主張、另一份人類證明,以及後續討論和核查連結。
Anthropic數學家 Levent Alpöge 聲稱與 Claude 找到黎曼猜想的證明,但主張尚未經獨立驗證或獲數學界認可。他公開的是分成14個壓縮包、約1700萬行的 Lean 形式化證明文件,並表示方法可推廣至廣義黎曼猜想。他亦坦言尚未完全掌握證明涉及的全部數學內容。
推薦理由:文章梳理了形式化文件、獨立驗證與數學界認可之間的差別,並交代這項主張尚需經過哪些檢查。
OpenAI 推出 MedChemBench 基準測試,評估 AI 模型在藥物化學研究中的推理能力;基準包含 99 道題目,取自 117 篇論文與專利,涉及 761 個分子結構。
Anthropic 數學家 Levent Alpöge 聲稱,他與 Claude 合作找到黎曼猜想的證明,並表示方法可推廣至廣義黎曼猜想。他公開約1,700萬行 Lean 形式化證明文件,但尚未有公開的完整獨立驗證結論,Anthropic 亦未公開為其主張背書。Alpöge 亦坦言尚未完全掌握證明涉及的全部數學內容。
OpenAI 發佈 MedChemBench,評估 AI 模型在藥物化學領域的推理能力。基準包含 99 道題目,涵蓋 761 個分子結構;GPT-6.2 Astra 在 xhigh 檔取得 84.5% 可用分,結構重建得分為 95.4%,化合物篩選與數值預測則僅約 50%。OpenAI 指出,基準反映模型應用歷史知識的能力,不等同於真實新藥發現能力。
科學家根據毅力號火星車的PIXL儀器數據,確認傑澤羅隕石坑底部的Séítah地層由低黏度熔岩形成,揭示近40億年前的熔岩湖遺跡。熔岩富含橄欖石,可能流動約200公里後匯聚成湖,冷卻歷時數百年至數千年。
tappers 在 VM221 以 gemini-3.8-flash 比較兩種編碼智能體 linter,附帶具體修復提示的方案在隱藏評分套件同樣取得 20/20(100%),並將累計輸入 token 減少 69.6%。該方案令規則手冊查閲由 1 次降至 0 次、模型呼叫由 3 次減至 2 次,執行時間由 21.60s 降至 14.86s。
Anthropic 數學家 Levent Alpöge 宣稱藉助 AI 解出黎曼猜想後,Stanford 博士後研究員 Alessandro Masullo 隨即公佈一份聲稱不使用 AI 得出的解答。Masullo 表示,他已研究這個問題 12 年,因當前情勢而提前發布尚未完成的版本,並提醒匆忙之下可能有錯。當時兩份解答均未正式證明,數學家正以人工和 AI 檢視兩者。
Anthropic 數學家宣佈與 Claude 合作完成黎曼猜想及廣義黎曼猜想(GRH)的證明。文中稱 Claude 貢獻關鍵推導,並生成超過 25 萬頁文字證明及 1,700 萬行 Lean 形式化程式碼;目前只公開 4 頁説明與壓縮程式碼包。陶哲軒等學者指出驗證需時;克雷數學研究所要求成果經同行評審發表並經兩年公認期,目前尚不符合提交資格。
Monomem 與 agentmemory 在 LongMemEval-S 評測中的分數差異未達統計顯著,作者將結果視為平手。作者以同一數據檔重跑 agentmemory 自行發佈的評測,重現 84.7%;Monomem 得分 86.0%(470 題中答對 404 題),exact McNemar test 的 p = 0.29。
MIT研究人員提出一種為混沌系統機器學習模型加入物理約束的方法,確保模型預測長期維持有界,避免產生不可能的結果。方法讓模型學習類似能量的函數,並加入投影層,以能量耗散作為硬約束;團隊在多種物理系統測試,結果較傳統方法更貼近實際。
Anthropic 數學家 Levent Alpöge 宣稱,他與 Claude 找到黎曼猜想及廣義黎曼猜想的證明,並公開 Lean 形式化程式碼;目前尚未經專家核實。
MIT 研究人員提出機器學習框架,為混沌系統 AI 模型提供任意長預測窗口下的軌跡有界性保證,避免模擬值無限增長至不符合物理情況。框架在 Lorenz 96 及 Kuramoto–Sivashinsky 方程降階模型的示範中產生有界長期預測,並保留不變統計量。團隊下一步將測試更大型系統及真實天氣的數據驅動模型,相關天氣模型的表現仍屬未解研究問題。
METR 報告指出,公開前沿模型在 TH1.1 與 TH2 評測中的 50% 時間跨度(模型有一半機會完成的人類估算任務時長)約每 110 天翻倍,但在開放式研究及評測設計上的判斷較弱。
Ravi Vakil 表示,Alessandro Masullo 提出的廣義黎曼猜想證明草稿,現傾向先行公開。Brian Conrad 已仔細審閲數月,並提供大量正納入草稿的意見;目前情況看來良好。Vakil 指出,這項工作完全由人完成,沒有使用 AI。
Goodfire Research 取得 Thinking Machines 提供的 Inkling 2 Mini 權重,研究其架構創新如何影響模型內部機制。模型共有 24 層,核心區塊會循環執行三次。初步研究發現,循環層可以向自身寫入資訊,也能讀取「未來」層的資訊。
Levent Alpöge 等人藉助 AI 生成三維非強迫不可壓縮 Euler 與 Navier–Stokes 方程有限時間爆破解,Alpöge 另生成廣義黎曼猜想的 Lean 證明。
Anthropic 數學家 Levent Alpöge 稱,他藉助 Claude 找到一份可由 Lean 編譯的黎曼猜想證明;Stanford 博士後 Alessandro Masullo 亦公開廣義黎曼猜想證明。數學界仍需時間理解 Alpöge 的結果,但多數人似乎相信形式化 Lean 結果能成立。Masullo 表示其證明是 12 年工作的成果,Ravi Vakil 指出當中沒有使用 AI。
推薦理由:文章並列 Alpöge 藉助 Claude 提出的黎曼猜想證明主張與 Masullo 的廣義黎曼猜想證明,並交代前者仍待數學界理解和檢視。
OpenAI 於 2026 年 11 月 20 日推出 MedChemBench,並報告 GPT-6.2 Astra 在 xhigh 推理力度設定下取得該基準可得分數的 84.5%。
原文作者公開了 Alessandro Masullo 提出的廣義黎曼猜想(GRH)證明草稿,並稱 Brian Conrad 已仔細審閲數月、提供大量意見。原文作者表示,該證明全由人完成、沒有使用 AI,並希望其他人盡快檢查、形式化及補上可能存在的小缺口。
OpenAI 推出 MedChemBench,評估 AI 模型能否結合分子結構與實驗證據,解釋結果、比較化合物並預測性質。基準包含來自 117 篇論文和專利的 99 道題目及 761 種分子結構;在 xhigh 設定下,GPT‑6.2 Astra 得分為 84.5%。