《生成式人工智能基礎小書:直觀的數學入門指南》介紹生成模型數學基礎
《生成式人工智能基礎小書》以推導為主線,精簡介紹現代生成式人工智能的數學基礎。內容涵蓋 PCA、probabilistic PCA、變分自編碼器、擴散模型、正規化流、自回歸分解、GAN、Wasserstein GAN 和基於能量的模型。這份 195 頁的 v2 預印本加入全書視覺化解説。
《生成式人工智能基礎小書》以推導為主線,精簡介紹現代生成式人工智能的數學基礎。內容涵蓋 PCA、probabilistic PCA、變分自編碼器、擴散模型、正規化流、自回歸分解、GAN、Wasserstein GAN 和基於能量的模型。這份 195 頁的 v2 預印本加入全書視覺化解説。
Anthropic 正研究開源系統 FlashProve,透過加密證明核實指定輸出是否由特定 AI 模型生成。系統要求 AI 實驗室公開各模型的指紋,供日後核對輸出;指紋不會公開模型權重。研究人員已公開技術規格及系統多個部分的可運作程式碼,研究仍在進行,Anthropic 或其他實驗室目前均無部署計劃。
《生成式 AI 基礎小書:直觀數學入門》以直觀方式介紹生成式 AI 的數學基礎。原文未提供更多內容,無法確認涵蓋的主題或細節。
上海交通大學醫學院附屬仁濟醫院卜軍團隊與上海交通大學錢昆團隊,運用高通量質譜檢測和 AI 集成學習,分析中國 6 個中心 18,476 名參與者的血漿代謝組,描繪全生命週期特徵並開發代謝組年齡加速(mAA)指標。研究篩選出 56 個年齡相關代謝特徵;約 6 年隨訪中,mAA 每增加一個標準差,全因死亡風險約升高 50%,並與高血壓、脂肪肝及糖尿病等慢性疾病相關。
Liam Warner 與 Nicola Bodill 首次從 PHerc. 306B 古卷讀出可辨識文字,並獲 $50K First Letters Prize。
以 Google Play Apps 數據集分析 9,644 款應用程式後,遊戲類別下載量最高,佔總下載量 17.9%;免費應用程式佔下載量 99.92%。家庭類別佔估算付費收入 39.7%,但收入很大部分來自 Minecraft,剔除該遊戲後,估算收入由 $116M 降至約 $46M。數據是截至 2018 年 8 月的商店快照,下載量及收入均按下限估算。
History Forcing提出統一的 on-policy 蒸餾框架,利用歷史上下文殘差修正蒸餾目標,提升少步自回歸影片生成的長程一致性。在 1.3B 模型中,15s 影片生成的 VBench 質素分數為 85.07,60s 生成的 VBench-Long 綜合分數為 79.82。
FlyHash 用於 LLM 智能體記憶檢索,在位元數匹配及真實相關性標籤下,均比 SimHash 更能保留鄰近結構。這項優勢在 10 個隨機種子及涵蓋兩種模態的四個數據集上成立,但一般規模下 FlyHash 沒有實際記憶體或延遲優勢,HNSW 的表現更佳。研究同時發布實作及可運作的智能體記憶示範。
史丹福研究人員以 20 個模型檢驗 50 項廣受引用的 LLM 主張,發現 44% 已失效,另有 34% 明顯減弱。22 項可估算失效時間的主張平均只維持 15.7 個月;9 項推理相關發現均未維持或增強,其中 5 項已失效。
SLAC領導的研究團隊在錳碲(MnTe)中觀察到手性的直接實驗證據,支持異磁性作為第三種磁相的存在。研究團隊透過比較材料對左右旋圓偏振 X 射線的散射反應辨識手性訊號,並於 2024 年完成初次實驗、在 2025 年初重複實驗確認結果。研究指出,異磁性材料或可用於自旋電子學,相關應用包括量子技術、記憶體裝置和數據中心。
DreamFree 透過未來表徵蒸餾,構建無需生成未來影片的世界動作模型,並能隨影片模型規模及影片數據增加而提升控制表現。在 DROID 數據集上訓練後,DreamFree 在 10 項真實世界任務中取得 64% 成功率,高於 DreamZero 的 56% 和 π0.5 的 16%。其 14B 影片骨幹在單張 H200 上以 11 Hz 運行,推理速度較 DreamZero 快 17.8 倍。
CARTBench 評估大型語言模型對附時間線的複雜及含糊購物需求所提供的建議。基準涵蓋 17 個零售領域、1,603 條產品紀錄及 1,328 項專家標註準則。評測包括 7 款商用 API 模型(包括 GPT-6.1-Sol 和 Claude-Opus-5)及 35B+ 開放權重模型;10 款模型中,3 款 Core 得分超過 90%,沒有模型的 Excellence 得分超過 45%。
Micius-Flash 是一款面向工程的 27B 參數多模態推理模型,採用知識樹數據流程及多教師在線策略蒸餾訓練,支援 256K-token 上下文。在超過 20 個數據集、約 15K 筆記錄上,其硬件程式碼基準平均得分為 64.2%,較同規模基線高 15.0 個百分點;半導體智能體基準得分為 62.4%,高 17.2 個百分點。
Loopback Transformer 將殘差連接視為沿網絡深度運作的記憶,透過儲存區塊更新、幾何遺忘及內容相關注意力,重用先前計算。
Speculative Listening 是一種免訓練、無損的推測解碼框架,利用分塊交錯式全雙工語音語言模型的閒置運算,預先草擬並驗證後續音訊區塊。在八項任務的 TickTock-Bench 上,它令語音區塊加速 2.6-2.8x、工具呼叫區塊最高加速 23.4x,並將回應開始前的解碼延遲平均降低 73% 至 74-241 ms。
Open-HumanScale 論文提出擴展具身基礎模型人類影片預訓練的開放方案,並發布附有手部動作及自然語言密集標註的 50,000 小時 Open-HumanScale-50K 資料集。
MAEP 是一種免訓練的模態感知專家剪枝框架,按模態拆分專家重要性,以壓縮 MoE 多模態大型語言模型。實驗顯示,MAEP 在多數多模態基準上優於不區分模態的基線,文字任務表現亦具競爭力。它減少約 27 GB 的 BF16 專家權重,令約 58 GB 模型的完整權重可容納於單張 40 GB GPU。
D3D 論文提出獨立擴散草稿器,將草稿生成與目標模型驗證解耦,支援非同步推測解碼。它在七個基準上的平均解碼加速比為 Qwen3-8B 的 5.00×、Qwen3-32B 的 5.71×,高於 DFlash 的 4.03×和 3.67×,並在 GSM8K 上達到最高 7.48×。
Zuse 由 4B、9B 和 27B 三個決策模型組成,面向 27 種歐洲語言,以凍結的開放權重基礎模型為底座,訓練低秩適配器和指針頭。涵蓋 27 種語言、9 個任務組別的評測中,27B 模型準確率為 87.5%,整體期望校準誤差為 0.016。研究發現,校準偏差主要按任務而非語言區分,且超出訓練語言的表現受基礎模型所涵蓋語言影響。
TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。
對 Hyper-Connections 架構的系統研究提出 SimpleHC,透過移除殘差混合及共用記憶體存取,在維持 mHC 相若表現的同時簡化架構。SimpleHC 在最大測試規模下,端到端訓練時間僅較標準殘差基線多 2.4%。模型由 15B 擴展至 30B MoE 時仍維持相若表現,訓練期間梯度變化較平順,並在壓力測試下保持穩定。
研究發現,視覺語言模型可透過與偏好無關的視覺任務,把教師模型的隱藏偏好傳給學生模型。研究涵蓋參數量由 2B 至 7B 的模型,在動物偏好任務中,學生模型選擇目標的比例最高比對照組高約 10 個百分點。即使模型選擇相同圖像,受偏好教師影響的學生模型,其解釋亦會使用更多與教師相同的詞語和短語。
SPILLWAY 提出一套防護工具使用型智能體提示注入的方法,分開處理目標准入檢查與輸入淨化。它只在工具輸出的目標值來自唯讀工具的型別欄位或符合固定委派規則時准入,並以固定規則移除指令式內容、保留移除片段作為證據。
DGP(Dynamic Gated Pathways)在每個 ViT 層與 LLM 層之間建立全連接路徑,並由各 LLM 層按自身語義狀態動態選擇視覺層。在 LLaVA-1.5-7B 基線上,DGP 在 SQA^I、MM-Vet、VizWiz 和 LLaVA^W 分別提升 +4.2、+3.3、+3.1 和 +3.1。
研究團隊提出 FinDendro 基準,以 2,226 條涵蓋 1999 至 2026 年的有日期美國事實,評估大型語言模型的時間知識及其自我判斷。GPT-5 對受控事實的答對率為 76%,但只聲稱知道其中 38%;它對自己表示不知道的事實,仍有 61% 答對。研究發現,知識聲稱可超出測得邊界最多七個季度,因此,訓練窗口內的回測不能單憑模型自述、提示詞或供應商標示的知識截止日期確認沒有資訊洩漏。
Coca-Cola 讓 LLM 智能體以精簡的潛在表示接收工具觀察,無須重建原始工具輸出。在四個網頁搜尋問答基準及 Qwen、GLM 兩個模型系列的評測中,總智能體 token 消耗降低 70.01%–89.24%,端到端執行時間縮短 24.45%–55.97%。所有評測設定中的答案 EM 和 F1 均高於未壓縮的智能體。
Prime Intellect 審查 AutomationBench、OfficeQA Pro v2 與 HLE-Diamond,修正任務、評分器及工具使用問題,並開源相關修正。
OpenAI 比較六款模型在 Respecting Warnings 評測及相符 Codex 生產決策中的表現,評測成功率均較低,差距為 10.2 至 37.4 個百分點。在 GPT-6.1 Sol 的幹預測試中,提示正確目標是尊重警告後,成功率升至 91.6%;提示相反目標、抵抗提示注入後,成功率降至 17.6%。只提示這是評測時,成功率為 63.1% 對 63.4%,變化不顯著。
StateBench 是研究團隊推出的長上下文基準,分四個複雜度級別評估語言模型追蹤文件內實體狀態變化的能力。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在較難的 soluble 和 general finite 任務上,準確率隨輸入變長而大幅下跌,最長 general finite 測試降至 13% 或以下。
MIT CSAIL 研究團隊的權重空間編程研究顯示,GPT-6 Astra 無需梯度下降或微調,便可修改 Qwen3.5-0.8B 的 131,072 個權重以修復重複循環。
推薦理由:文章並列成功與失敗案例,呈現直接編輯權重較適合移除單一故障障礙,未能補足模型原本欠缺的能力。
Allen Institute for AI(Ai2)發佈 StateBench 基準測試、數據集及程式碼,評估語言模型能否在長文件中追蹤變動狀態。測試按更新操作分為四級,涵蓋 8 至 64,000 次指派;Ai2 表示,Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最長的一般有限任務中準確率均為 13% 或以下。
Ai2 推出 StateBench,這套基準評估語言模型在長篇文件中追蹤實體狀態變化的能力,並將任務按複雜度分為四級。從零開始訓練、參數量為 275 million 的模型在最長 64,000 次變數賦值序列測試中,Gated DeltaNet 及混合模型在前三級幾乎完美泛化;Transformer 則未能學會最難的通用有限狀態任務。
Palette以LoRA微調20B開放權重模型,讓模型按指定設計語言規劃並生成簡報,並以檢查器核驗版面。訓練數據依據 IBM Design Language 合成,涵蓋約 1000 份簡報、約 10,000 張投影片;模型在 PresentBench 測試的三個領域中有兩個排名第一。設計與編寫程式碼分工後,每張投影片可並行處理,編碼階段快約 6–7×。
KAIST 的微調方法 CluSTER 透過挑選具代表性的訓練數據,將一次 10 小時的訓練縮至約 3 小時,測得效能幾乎不變。報告的最高節時幅度為 69.6%;31% 是醫療問答實驗所用的數據比例,並非通用值。測試涵蓋 7B 和 13B 模型及八項基準。
IdeaTaste 將 AI 智能體根據 2025 年文獻提出的研究構想,與同一社羣 2026 年發表的論文比較,發現其能跟上大方向,卻難以匹配具體方法。測試涵蓋六個當代語言模型、四個研究領域及逾 90,000 份提案;引用匹配約為人類水平的 26%,構想匹配僅 18%。
CUA-Master-27B 以快照回滾收集有效操作軌跡,在 OSWorld Verified 得分 80.2,並在 OSWorld 2.0 和 WeaveBench 分別得分 36.9 和 43.9。環境驗證器找出失敗步驟後,系統回復至該步驟前的快照,保留成功操作並重試。研究團隊亦從 YouTube 和 TikTok 教學影片提取軟件操作任務,供模型訓練。
DR Pixel 是一個開源多模態智能體,直接以渲染後的文件頁面圖像作為檢索與推理單位,並在包含 1.06M 頁的語料庫上運作。研究建立 DRPixelBench;未經訓練的頁面原生方法已在 GPT-5.4、Gemini-3.5-Flash 和 Qwen3.6-27B 等模型上勝過 OCR 基線,且所需工具呼叫較少。
研究主張,Physical AI 應涵蓋 AI 增強的人類智能,並以終身認知共生體補足個人在情境中的認知缺口。這類系統透過外置裝置感知用戶所感知的事物、跨年保留情境脈絡,並在適當時機參與思考及執行日常任務。論文亦將治理納入設計,指出認知共生體可能帶來考試中的隱蔽協助,以及要求所有人採用的壓力等風險。
麻省理工等機構研究者提出 HugAgent,以 54 名參與者、1,742 個評測項目,測試大模型能否從訪談推斷個人當前信念,並預測其在未見情境下的回答。信念狀態推斷的最高準確率為 77.56%;信念動態更新則以 Claude Sonnet 4.5 的 68.61% 最高,兩項參與者自我一致性基準分別為 84.84% 和 85.66%。
研究團隊從零預訓練 Qwen3 模型,並將其後訓練為 CLI Agent,展示預訓練語料投毒可植入遠端程式碼執行後門,令 Agent 在觸發條件出現時執行攻擊者指定命令。
推薦理由:研究從零預訓練並後訓練 Qwen3 CLI Agent,量化不同模型規模與投毒率下的攻擊成功率,呈現預訓練語料污染對智能體執行安全的影響。