訓練 Vision Transformers 聚焦:空間注意力頭專門化的形成
研究提出兩種視覺聚焦損失函數,讓 Vision Transformer 的多頭注意力對應影像區域,並形成專門化的空間注意力頭。這些注意力頭無需標註即可展現多樣且聚焦於空間位置的感知能力,並提升零樣本影像分割等密集預測任務的表現。
研究提出兩種視覺聚焦損失函數,讓 Vision Transformer 的多頭注意力對應影像區域,並形成專門化的空間注意力頭。這些注意力頭無需標註即可展現多樣且聚焦於空間位置的感知能力,並提升零樣本影像分割等密集預測任務的表現。
Google DeepMind 研究人員使用智能體 AI 框架 AlphaProof Code,驗證 Signal 協議的密碼學保障;這項概念驗證歷時四週。
禾賽科技發布《空間智能白皮書》,闡述空間智能的技術演進、產業趨勢與應用機遇,並介紹三維世界數據引擎 Kosmo 的進展。Kosmo 包括 Kosmo One 空間相機及 Kosmo World 雲平台,提供 Sim-ready 和 Production-ready 兩類應用。白皮書指出,高質量、多模態三維空間數據的規模化供應,是推動物理 AI 發展的關鍵基礎設施。
Black Kite 的 2026 AI 供應鏈報告評估 18,160 家 AI 公司,發現 34.2% 至少有一項外部觀察到的關鍵未修補漏洞,並將風險延伸至供應商的軟件依賴及產品獲授予的整合權限。
Google DeepMind 開放 SatWeave 和 PARDIG 的即時資料及歷史檔案,供研究人員和開發者用於天氣、水文及氣候應用。SatWeave 每小時更新,涵蓋 17 個可見光、水汽及紅外線通道;PARDIG 提供時間解析度為 15 分鐘、約 10 公里解析度的全球降水圖,平均延遲約 5 小時。
推薦理由:兩套數據集分別提供全球衞星影像拼接與降水估算,並開放即時資料和歷史檔案,呈現它們支援天氣、水文及氣候應用的資料基礎。
InfraRSI 是一套智能體工作流程,將開放式指令轉化為經驗證的 LLM 訓練優化,並透過跨硬件經驗與線上更新模型先驗,協調設定和程式碼修改。在四種單節點及多節點的 dense 和 MoE LLM 工作負載中,InfraRSI 最多提升速度 2.75 倍,並將平均 MFU 從 17.4% 提高至 30.0%。
西北工業大學與香港科技大學研究團隊提出 DGP,讓每個 LLM 層根據圖像—問題上下文及自身語義狀態,動態融合全部 ViT 層的視覺特徵。在 LLaVA-1.5-7B 上,DGP 在論文報告的 11 項指標均高於基線,SQA-I 提升 4.2 分、MM-Vet 提升 3.3 分;在 Qwen3-VL-2B 與 LLaVA-NeXT 上亦取得增益。
Einsia AI 旗下 Navers Lab 發佈多智能體編排基準 WorkflowArena,以 145 項長程任務評測大語言模型自行設計和協調工作流的能力。
網站使用 cookies 及類似技術來營運、瞭解網站使用情況,並識別商業訪客,以作銷售及市場推廣用途。用戶可選擇停用個人資料的出售或分享;必要 cookies 始終啟用,選擇可隨時更改。
Goodfire Research 研究 Qwen3.6-35B-A3B,提出神經元可作為可解讀的計算單位,並以稀疏化、子電路和描述生成分析其功能。每次前向傳播移除 92.2% 最弱的 MoE 神經元激活,語言模型 loss 僅增加 2.9%。相對隨機文本,神經元描述預測其是否激活的準確率為 95%;在高於 p99.9 的激活區間,描述驅動的模擬可恢復理想讀取器可恢復損傷的 73%。
SatBotly 探測 458 個回傳有效 HTTP 402 的端點,比較 x402、L402 和 MPP 的每次呼叫價格;中位數分別為 $0.015、10 sats(約 $0.008)和 $0.005125。整體中位數為 $0.01,238 個端點(52%)收費不超過一美仙;這次探測只讀取未付款的 402 價格挑戰,並非成功購買的收據。
Reframe 提出兩階段後訓練框架,透過以證據為依據的強化學習及觀察狀態門控的在線策略蒸餾,提升視覺智能體的工具使用能力。框架包含 GD-GRPO 和 OG-MOPD,在 14 個圖像及影片基準測試中均優於 Mix-RL 和 vanilla MOPD。兩個階段均不需要針對任務的 SFT 冷啟動。
Agent4Crypto 以雙重反思機制及 PPO 閘控策略,動態調整三種交易智能體的權重,應對非平穩加密貨幣市場。交易後反思會把經驗存入 Financial ReasoningBank,反事實貢獻記憶則追蹤近期表現較佳的交易風格,供策略調整時參考。
負責審查 OpenAI Yang-Mills 證明的五名物理學家宣佈,將於 2026 年 11 月 10 日在 GitHub 公開完整 Lean 程式碼及委員會評估。
推薦理由:公開的 Lean 程式碼和委員會評估可供外界核對,但自然語言版證明未公開,且結果不涵蓋質量間隙問題。
Coremail CACTER《2026年第三季度企業郵箱安全性研究報告》指出,第三季度釣魚電郵佔企業郵件20.8%,境內來源佔51.52%,近五個季度首次反超境外。攻擊者會偽造顯示名稱、盜用真實帳號及混用工具規避偵測;報告建議以SPF、DKIM、DMARC等技術校驗配合獨立核實。
作者以 CADEC 語料測試六種 LLM 可靠性層,發現各層主要按可信度篩選答案,幾乎沒有修正錯誤。模型憑記憶回答 SNOMED CT 代碼時,有 13% 至 18% 的代碼並不存在;改為從選單挑選,得分高出十倍。文章指出,準確率會掩蓋被擱置的正確答案,因此應同時衡量產出率,即全部記錄中的正確答案比例;任何後置層都無法補回抽取器漏掉的提及。
Anthropic 的 Dreaming 流程在互動暫停時利用閒置計算回看原始記錄、校正筆記,並整理可跨會話重用的結構化記憶。文章以《寶可夢》闖關及企業文件測試説明其應用:Claude Opus 5 整理約35萬份、共4.2億Token的文件後,知識網絡配合原始文件檢索,得分由53%升至61%,跨文件多跳推理準確率為87%。
OpenAI 根據 ThinkYoung 的新研究及 EMEA 教育合作經驗,探討如何支援教師和學生在教育中使用 AI。調查中,79% 的學生表示曾用 AI 做功課或作業,但只有 47% 表示有人教過他們如何使用。報告提出清晰的教育目標、教師培訓、本地合作、批判性 AI 素養和可信證據五項重點。
MeloLabs.net 的研究顯示,為 Haiku 提供整理過的項目記憶後,依賴項目歷史的決策題答對率由 14% 升至 93%,每次回答的成本約為把整個項目貼入提示詞的 1/250。研究以 109 份文件、152 張決策卡和 120 條問題進行測試,把整個項目貼入提示詞的準確率為 76%,整理後記憶則為 95%。作者提醒,問題取自同一批決策卡,這個提升幅度不能直接視為真實項目的預測。
LingBot-Touch 是觸覺基礎模型,能在壓阻式、磁力及視觸覺感測器之間學習統一且可擴展的表徵,並產生可即插即用的觸覺 tokens。這些 tokens 可整合至 diffusion policy、π_{0.5} 及 LingBot-VLA 等 VLA 模型,提升操作靈巧度;模擬和實體機械人實驗亦顯示,該表徵有助複雜操作任務,並維持良好計算效率。
小米聯合北京大學發布《物聯網設備模型(Thing Model)技術白皮書》,並宣佈向全行業開放經超 11.6 億台 AIoT 設備驗證的技術與經驗。白皮書結合覆蓋 200+ 品類、10000+ 家合作夥伴的實踐,聚焦動態架構、AI 融合與可信安全三大核心突破。
香港大學研究人員結合電腦圖像學、波動光學及 AI 校準,開發兩種全像顯示技術,以呈現更自然的焦點、視角和材質變化。一種以多邊形網格保留場景幾何結構和深度,另一種 HoloPathTracer 模擬光線與場景幾何及材質的互動。兩項研究仍處於研究原型階段,實際消費應用仍需提升運算速度及改進空間光調制器和光學系統。
小米科技聯合北京大學發布《物聯網設備模型(Thing Model)技術白皮書》,公開在11.6億台設備上驗證的技術和經驗。白皮書提出四層物模型架構、Dynamic Service 動態服務機制及面向 AI 智能體的「能力契約」,並支援 MCP、Function Calling 等接口對接。小米表示將配合國家相關標準建設,推動 IoT 行業的 AI 智能化演進。
小米科技聯合北京大學編寫的《物聯網設備模型(Thing Model)技術白皮書》正式發布,分享小米超 11.6 億台 AIoT 設備的規模化實踐。白皮書提出四層物模型架構與 Dynamic Service 動態服務機制,並制定面向 AI 智能體的「AI 友好物模型」標準。小米宣佈向全行業開放相關技術和經驗。
研究團隊提出 Sage-Taiyi,一種受元認知啟發的架構,利用累積的科學理解決定下一步研究方向及研究方法。在 Taiyi-Bench 涵蓋 10 個學科、50 篇論文的 265 項任務中,Sage-Taiyi 在歷史再發現與開放式構想的八項指標均排名第一,Overall 得分為 54.0,高於最強基線 AI Scientist-v2 的 47.9。
WARC 是一個有 35M 參數、以其他遊戲預訓練的 vision transformer,研究其在測試時透過有限互動學習新遊戲機制的能力。在未見遊戲中,WARC 有五分之四的機制能以至少 80% 準確率預測受影響格子;其中一半約經 80 次觀察便達到此準確率。.closed-loop 遊玩公開遊戲時,WARC-Agent 將探索器的官方效率分數由 0.15 提升至 0.46。
Anthropic 研究員 Lance Martin 説明 Claude 智能體的離線「做夢」如何用對話記錄核對、修正檔案筆記,並進一步整理記憶建立 wiki。
TailSteer 透過從 on-policy rollout 學習針對尾段的修正,減少連續 15-20 次圖片編輯累積的漂移,並大致保留原模型能力。History Forcing 將 15 秒影片生成的 VBench 質素提升至 85.07,MemoBench 物件一致性達 62.18,Evolution Quality 由 2.35 升至 2.70;每步訓練時間和記憶體開銷只增加約 2%。
蘋果研究團隊於11月4日將 HALO 機械人控制系統及全部程式碼上載至 arXiv(2611.06908),並以宇樹 G1 和本地運行的千問(Qwen)進行實機驗證。
Google DeepMind 表示,受人類監督的 AI 智能體找出兩種針對 1024 位 RSA 的攻擊方法改進,分別降低簽名偽造及批次分解成本。DeepMind 的理論估算顯示,簽名偽造成本改善約 1,600 倍,批次分解每增加一把金鑰的平均成本降低約 30 倍;沒有現役金鑰遭破解,2048 位及以上 RSA 不受影響。文章建議盤點仍在使用的 1024 位 RSA 金鑰,並於本季淘汰。
諾亦騰在 Hugging Face 公開發布 HiPHI-Hand 手部動作捕捉數據集,該數據集已用於訓練英偉達的 3D 手部重建模型 EgoHand。EgoHand 使用 1400 萬張圖像訓練,單幀推理延遲約 9 毫秒,並以 OpenMDW 許可發佈,允許免費商用。HiPHI-Hand 數據集以 ModalityNet 開放研究許可 v1.0 發佈,可免費用於非商業科學研究、教育和評估。
清華團隊提出 Asking the World(ATW)框架,讓 AI 從影片建構可執行的物理模擬世界,並透過查詢、模擬和條件幹預回答物理屬性、運動預測及反事實問題。
Anthropic 於 11 月 9 日發表研究,稱 Claude Fable 5.2 從簡短提示完成電子裝置規格、電路原理圖、PCB 佈局與走線、外殼、韌體及零件清單,三部按設計檔製作的原型未經電路修改便運作數星期。
截至 2026 年 11 月 5 日,31 CFR 條文使用「artificial intelligence」等 AI 詞語,其中 24 項對 AI 作出實質規定,但沒有一項提及「generative AI」。作者指出,現行聯邦法規沒有條文説明當事人可如何在聯邦機構的文件或聆訊中使用 AI。eCFR 搜尋 API 仍會回傳已移除的條文,作者建議核對版本器 API 的移除標記。
VDB 在 11 月 2–8 日記錄到 180 個首次出現的不存在套件名稱,10 個名稱至少被一個模型再次生成,沒有名稱在模型推薦後被註冊。新名稱包括 PyPI 103 個、npm 47 個、crates.io 25 個及 Go 5 個;gpt-4o-mini 生成 158 個,claude-haiku-4-5 生成 22 個。名單目前共收錄 2,199 個名稱。
ByteDance 的豆包工作在 SuperCLUE-Office 10 月測評中,以 85.33 分在 8 款中國辦公 Agent 中排名第一;Kimi Work 以 84.57 分排第二,前四名總分相差 2.65 分。豆包工作文檔處理得 87.12 分,Kimi Work 則以 88.00 分在數據分析範疇居首。測評以真實辦公任務檢查可編輯文件等交付成果,編造數據最多倒扣 4 檔。
Kunal Talwar 提出一套不要求測試集與訓練過程隔離的模型可評估性形式化框架,研究測試樣本可能已用於訓練時,能否準確評估黑盒模型。在只檢視模型對測試集輸出的設定下,準確評估可行當且僅當數據分佈的支持集較小,研究亦給出樣本複雜度的緊確上下界。少量額外輸入查詢可提升評估者對自然分佈及概念類別的評估能力,並與程式測試中的 self-correctors 有關。
研究將差分私隱演算法 Private Evolution(PE)重新表述為生成模型增強的 Wasserstein 學習,並提出具幾何感知能力的新版本。理論分析顯示,若生成器能在與目標分佈相同的低維空間生成樣本,樣本複雜度便取決於內在維度,而非環境維度;標準 PE 變體則可能無法在簡單的良好聚類案例中收斂。實驗顯示,新算法可與標準基線競爭,並提升召回率。
研究指出,依賴標準雜訊聚合原語的私隱選擇算法需要 Ω(d/ϵ) 個樣本,這是聚合模型本身的限制。研究提出實作稀疏向量技術(SVT)版本的新原語,並設計 ε-差分私隱選擇算法,達到 O(log(dn)ε) 的加法誤差,預期 SVT 查詢數為 O(dlog∗d)。結果顯示,SVT 模型與 shuffle 或聚合模型之間存在指數級差距。
SST-2 測試顯示,LoRA 適配器在噪聲達 3.47× RMS 時到達半增益點。基礎模型準確率為 60.8%,乾淨適配器為 94.5%;高噪聲下準確率跌至約 50%,低於基礎模型。測試涵蓋一個適配器、一項任務及 400 筆資料;8-bit 和 4-bit 適配器在此任務上的結果則完全一致。