視覺語言模型評估與基準綜述
視覺語言模型評估由早期驗證零樣本跨模態對齊,逐步轉向診斷推理、指令遵循、魯棒性與可信部署。現有方法涵蓋靜態基準、動態評估及診斷探針,並延伸至多語言、多文化、安全對齊和具身場景。評估範式正由離線測試擴展至動態、交互式場景,關注模型在真實環境中的可靠性與公平性。
視覺語言模型評估由早期驗證零樣本跨模態對齊,逐步轉向診斷推理、指令遵循、魯棒性與可信部署。現有方法涵蓋靜態基準、動態評估及診斷探針,並延伸至多語言、多文化、安全對齊和具身場景。評估範式正由離線測試擴展至動態、交互式場景,關注模型在真實環境中的可靠性與公平性。
這篇綜述梳理 AI 如何利用語音及多模態數據檢測痴呆症,並追蹤方法從手工聲學特徵、傳統分類器,演進至自監督語音模型和大語言模型推理。文章比較純聲學分析、多模態融合、大模型推理及聯邦學習等路線,並討論數據稀缺、私隱保護、模型可解釋性與公平性等挑戰。
這篇綜述梳理多模態大語言模型視覺定位由專用定位頭轉向自回歸座標生成或掩碼預測的演進。內容聚焦推理增強、免訓練策略與像素級擴展三條路線,分析它們在精度、效率和通用性上的不同取捨,並指出細粒度感知仍是重要瓶頸。
文本驅動4D動態場景生成與編輯研究,正由依賴SDS的迭代蒸餾,轉向原生4D生成、物理感知建模及智能體協同構建。4DGS已成為主流場景表示;SS4D可在2分鐘內生成高質素動態3D物體。外部物理模擬器有助提升物理一致性,但計算開銷較大,長時序穩定性與即時互動仍是待解問題。
城市多模態學習綜述梳理了研究由靜態城市表徵,發展至長時序理解、多智能體協作推理及模型訓練優化的脈絡。UrbanFeel、UrbanWell 等基準補足時序與主觀感知評測,Urban-R1 則以強化學習後訓練緩解地理偏差,提升跨地域泛化能力。研究仍聚焦建立標準化評測,並改善模型的時空推理與地理偏差。
生成模型水印與檢測技術在不可感知性、魯棒性與資訊容量之間權衡,研究由事後分類轉向在生成過程中嵌入水印。2023年KGW的綠紅列表範式適用於自回歸生成,但在擴散語言模型的並行生成中受限,促使研究探索潛空間幾何與順序無關方法。綜述涵蓋文本、圖像及音視頻水印、攻防分析與模型溯源。
這篇綜述梳理皮膚癌深度學習診斷方法從病灶分割與分類,演進至公平性、可解釋性和臨牀推理。內容涵蓋 CNN、視覺語言模型(VLM)及 MedSAM 等方法,並討論資料標註稀缺、膚色偏差、跨域泛化和部署效率等挑戰。近期研究探索以 Mamba、參數高效微調(PEFT)及多智能體推理,兼顧診斷能力與輕量化部署。
深度學習癌症影像診斷研究由端到端分類,逐步發展至可解釋模型、腫瘤內異質性建模及多模態放射基因組融合。綜述涵蓋 Grad-CAM、概念瓶頸模型(CBM)及 HA-DLC 等方法,並比較它們在精度、計算效率、標註需求與臨牀可解釋性上的取捨。跨中心泛化、數據異質與標註稀缺仍是臨牀部署的主要挑戰。
深度學習步態識別由二維剪影的時序建模,逐步發展至三維重建、多模態融合及大模型與生成式 AI,研究目標亦從身份識別延伸至屬性估計和臨牀診斷。GaitSet、SMPLGait、LidarGait、FoundationGait 和 BioGait-VLM 等方法呈現不同技術路線,涉及表徵學習、跨模態對齊、魯棒性與隱私保護。文章梳理各路線的演進、取捨和應用。
牙科影像分析研究由 CNN 主導的單一任務分割與分類,逐步發展至結合自監督學習、Mamba 與視覺語言模型的多元方法,目標是在標註稀缺、多模態異構及計算受限的條件下提升幾何保真度、跨域泛化與臨牀推理能力。綜述梳理牙齒分割與重建、疾病診斷、多模態大模型及幾何規劃等研究路線,並指出專用小模型與通用大模型需要融合,而非互相取代。
這篇綜述梳理 LLM 驅動數據可視化生成與評估的演進,涵蓋從規則系統到多智能體協作,以及評估從結構匹配轉向多維對齊。MultiVis-Agent 在 MultiVis-Bench 上的任務完成率為 74.18%,以部分生成靈活性換取可靠性。領域核心問題是在確保數據保真度的同時,實現複雜可視化的可靠生成。
加州大學聖塔芭芭拉分校研究者評估19個視覺語言大模型,發現它們判斷場景物件重要性時均與人類有顯著差異。研究以307張原始場景及1306張反事實場景作比較,並以227名參與者的16603條描述建立人類基線;論文:https://arxiv.org/abs/2605.13047。
文章分析「學習何時思考:自適應 VLM 推理的雙參照離線最佳化」,並比較標準密集基線與最佳化系統的推理表現。基準測試中,最佳化系統的首個 token 延遲為 165 ms,KV cache 佔用減少 87.5%,吞吐量達 118.2 tok/s,Exact Match 為 100.0%。
Direct3D-V3 提出一種無潛變量的擴散 Transformer 框架,捨棄 VAE,直接在原生體素域建模 SDF 體素網格。框架以鄰近體素的隱式流形正則化抑制非封閉表面,並預測條件圖像的相機參數;生成網格具有更豐富的局部細節,亦可用於生成式重建。
研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。
HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。
HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。
DailySafe 是一項評測多模態大語言模型能否在日常多輪互動中追蹤安全風險並提供合適協助的基準。它包含 195 組自然情境的多輪、多圖片互動,涵蓋 10 個日常領域及 42 類任務。DailySafe 已公開,並以個案安全標註評估模型在支持用戶正當目標的同時,能否識別及應對逐步浮現的風險。
EgoCaptioner 以影片整體概述及帶時間戳記的步驟描述,改善第一人稱視角影片描述的細節與時間對齊。研究團隊從八個第一人稱視角影片來源整理出 50,000 個訓練例子,並以 Group Relative Policy Optimization(GRPO)引導描述修訂。
WeMM-Video 論文提出一系列中英雙語全模態基礎模型,涵蓋 2B、4B、9B 及 35B-A3B,整合文字、圖像、音訊和影片處理,並支援快速回應及逐步推理模式。
論文提出 TuringSpace,一個包含 125 個互動式 CAPTCHA 的合成網頁環境,透過點擊和拖曳測試多模態模型的五種空間能力。人類成功率為 94.1%,表現最佳的模型 GPT-6 Astra 仍有 25.9% 的任務失敗;最佳開放權重模型 Kimi K3 則有 68.0% 失敗。
Depth Pro 2 提出單一可擴展網絡,以原生解像度為圖像及影片估算稠密度量深度,兼顧度量準確度、邊界清晰度和時間一致性,並在這些方面超越以往方法。團隊發布了一系列模型,在度量準確度、清晰度、時間一致性及運行時間方面開創新的 Pareto 前沿,並提供程式碼和權重。
研究團隊開發 TRACER,結合 ICU 牀邊影片與電子健康紀錄追蹤患者活動變化,協助醫護及早識別譫妄徵兆。系統每分鐘抽樣15類「原子動作」,再整理成逐小時報告;測試中動作偵測準確率為85%,醫師查詢答對率為61%。在280名 ICU 患者中,譫妄篩查呈陽性者的「目的性活動」較少;研究團隊表示,TRACER 未使用患者資料訓練。
Prime Intellect 回顧 RL Residency 在 2026 年支持的開放研究成果,分為評測、訓練環境和其他研究三類。項目涵蓋 Maze Bench、OpenTTD-Bench、PretrainGym、AerialSim 等;Maze Bench 中,當前最佳大語言模型在不使用編碼工具時準確率最高為 16%,使用編碼工具時最高為 23%。
ParseBench-2 將文件解析評測分為六個維度,並透過嚴重程度政策設定不同錯誤對分數的影響。六個測試套件涵蓋330種錯誤及良性變化,基準包含4,317個頁面案例。Metric Lab 允許用戶調整維度權重、錯誤嚴重度及錯誤分類;作者指出,符合預設政策不代表評分與所有用戶的判斷一致,也不能證明可泛化至未見文件。
AVTR 結合生成式視覺反思與文字推理,並按輸入內容學習選擇推理方式,以適應不同的感知與推理需求。在 16 項基準測試中,AVTR 較 Qwen3.5 基線平均提升 4.5 分,同時將推理延遲降低 33%。擴展至較小規模的骨幹模型時,AVTR 亦勝過受評估的 2B 規模基線。
多模態決策模型系列 Piccolo(0.8B 至 27B)透過智能體數據工程及遞歸自我改進,協同演化模型能力與訓練數據。
PReMind 提出兩階段強化學習框架,訓練個人化視覺語言助理結合視覺危險證據與用戶記憶,作出合適回應。PReMind-Bench 評估記憶提取、視覺根據、拒答及危險應對,並測試各項能力的聯合表現。4B 版本在相互依存測試集的聯合成功率由基礎模型的 12.9% 提升至 28.6%。
WorldRuler提出基於規則圖的生成式世界模型,可在儲存及載入時保留用戶定義的規則與世界狀態,並準確呈現規則對指定物件及屬性造成的視覺變化。研究以 GTA-V 和 Habitat 建立 RuleVerse 數據集,並透過動態物件綁定、屬性狀態替換及反事實重建訓練,提升規則執行與影片生成的一致性。
Game2Player 提出協同開發遊戲環境與玩家的框架,大規模收集多元且可驗證的遊戲體驗。團隊建成568款經驗證的網頁遊戲、3,436項任務,收集15.7K條軌跡(307小時遊戲時間),並保留50款遊戲作為 PlayerBench。
Jeveration 將凍結的視覺語言模型改作生成模型,讓 System One 模型以單次前向傳播生成連貫圖像,並支援圖像轉圖像及密集預測。模型生成 512x512 圖像需時 78 ms,速度最高比現有統一模型快 122x。實驗顯示,其圖像質素及密集預測效能具競爭力。
HKGAI 雪巍教授團隊聯同 Dolby Laboratories,憑空間音訊研究論文獲 ACM MM 2026 最佳論文獎,論文提出 StereoGen 空間立體聲生成系統。系統由 StereoCodec、StereoGen 及 StereoCLAP 三大組件組成,可根據文字描述生成具備空間方位及移動軌跡的立體聲音訊。
香港中文大學(深圳)與微軟研究院提出多模態建模架構 ConvexLLM,以 C-Gate 將音頻表示映射至語言模型凍結文字詞向量的凸包中。ConvexLLM 在 VoiceBench 11 項任務綜合評測中取得 75.36 分,領先同量級開源權重模型。模型在 BBH 得分為 80.40%,較最強基線高 8.80 個百分點。
GameRealm 是大型多模態遊戲資料集,收錄超過 120 million 個 RGB 影格及 1,000 hours 遊戲片段,並以同步標註將視覺觀察與遊戲中的監督訊號連結。資料集涵蓋深度、相機參數、音訊、控制輸入及 3D 點軌跡,並支援單視角、立體、多視角及全景錄製。實驗顯示,GameRealm 能提升視覺基礎模型在視覺生成及幾何學習任務上的表現。
CADMAGEDDON 提出以本地推理將網格重建為可編輯 CAD 的方法:幾何工具識別並擬合網格實體,Qwen3.8-27B VLM 則根據渲染結果決定建模與修正步驟。
M3OPD-Reasoner提出一套完全開放的多模態推理後訓練方案,涵蓋圖像 STEM、圖像感知及影片三個領域。評測 21 個基準後,研究發現從 Qwen3.5-9B 直接以 GSPO 訓練各領域教師,再用 MOPD 蒸餾的方案表現最佳;接續 MixRL 仍可提升學生模型,形成 M3OPD-Reasoner-9B。
π^4 是面向 4D 場景感知的統一基礎模型,可從未經標定的 RGB 圖像或影片中恢復稠密幾何、相機位姿和度量尺度,並為多圖輸入提供點追蹤及移動物體遮罩。在多項基準測試的幾何評估中,π^4 的整體平均排名最佳,2D/3D 點追蹤及移動物體分割表現具競爭力。完整系統約有 0.5B 參數,可在一次前向傳播中聯合重建與追蹤,處理數千張輸入圖像;訓練上下文最多為 64 個視角,程式碼和模型已提供。
論文提出 WM^MLLM,利用多模態大型語言模型(MLLMs)維護外部全景狀態及修訂歷史,從單張圖像生成可持續編輯、可精確重訪的世界。模型把每項請求轉為全景狀態操作,選擇局部編輯區域並檢查候選結果;同一修訂版本的重訪可重現原視角,通過檢查的局部編輯不改動區域外像素。
SWE-CoWork 評估顯示,領先編碼智能體通過約 63% 的 fail-to-pass 測試節點,但完整完成組織級軟件工程任務的比例低於 8%。研究亦推出自動化論文撰寫框架、320-billion-parameter 科學語言模型,以及整合蛋白質摺疊能力的通用 LLM。
研究團隊提出 CrossRPO,以對比集訓練 ViRA 視覺智能體,令模型須讀取超高解像度圖像中的證據才能答對。在最高解像度的 ViRA-Bench 上,CrossRPO 的整組準確率為 63.3%,高於 GRPO 的 59.3%。