跳到正文
目前篩選:論文
今天11月22日週日10 則
  1. 阿里雲開發者社區 AI32

    視覺語言模型評估與基準綜述

    視覺語言模型評估由早期驗證零樣本跨模態對齊,逐步轉向診斷推理、指令遵循、魯棒性與可信部署。現有方法涵蓋靜態基準、動態評估及診斷探針,並延伸至多語言、多文化、安全對齊和具身場景。評估範式正由離線測試擴展至動態、交互式場景,關注模型在真實環境中的可靠性與公平性。

  2. 阿里雲開發者社區 AI40

    AI 語音及多模態數據痴呆症檢測研究綜述

    這篇綜述梳理 AI 如何利用語音及多模態數據檢測痴呆症,並追蹤方法從手工聲學特徵、傳統分類器,演進至自監督語音模型和大語言模型推理。文章比較純聲學分析、多模態融合、大模型推理及聯邦學習等路線,並討論數據稀缺、私隱保護、模型可解釋性與公平性等挑戰。

  3. 阿里雲開發者社區 AI37

    多模態大語言模型中的視覺定位方法綜述

    這篇綜述梳理多模態大語言模型視覺定位由專用定位頭轉向自回歸座標生成或掩碼預測的演進。內容聚焦推理增強、免訓練策略與像素級擴展三條路線,分析它們在精度、效率和通用性上的不同取捨,並指出細粒度感知仍是重要瓶頸。

  4. 阿里雲開發者社區 AI36

    文本驅動4D動態場景生成與編輯方法綜述

    文本驅動4D動態場景生成與編輯研究,正由依賴SDS的迭代蒸餾,轉向原生4D生成、物理感知建模及智能體協同構建。4DGS已成為主流場景表示;SS4D可在2分鐘內生成高質素動態3D物體。外部物理模擬器有助提升物理一致性,但計算開銷較大,長時序穩定性與即時互動仍是待解問題。

  5. 阿里雲開發者社區 AI28

    城市多模態學習綜述

    城市多模態學習綜述梳理了研究由靜態城市表徵,發展至長時序理解、多智能體協作推理及模型訓練優化的脈絡。UrbanFeel、UrbanWell 等基準補足時序與主觀感知評測,Urban-R1 則以強化學習後訓練緩解地理偏差,提升跨地域泛化能力。研究仍聚焦建立標準化評測,並改善模型的時空推理與地理偏差。

  6. 阿里雲開發者社區 AI41

    生成模型水印與檢測綜述

    生成模型水印與檢測技術在不可感知性、魯棒性與資訊容量之間權衡,研究由事後分類轉向在生成過程中嵌入水印。2023年KGW的綠紅列表範式適用於自回歸生成,但在擴散語言模型的並行生成中受限,促使研究探索潛空間幾何與順序無關方法。綜述涵蓋文本、圖像及音視頻水印、攻防分析與模型溯源。

  7. 阿里雲開發者社區 AI26

    皮膚癌深度學習診斷方法綜述

    這篇綜述梳理皮膚癌深度學習診斷方法從病灶分割與分類,演進至公平性、可解釋性和臨牀推理。內容涵蓋 CNN、視覺語言模型(VLM)及 MedSAM 等方法,並討論資料標註稀缺、膚色偏差、跨域泛化和部署效率等挑戰。近期研究探索以 Mamba、參數高效微調(PEFT)及多智能體推理,兼顧診斷能力與輕量化部署。

  8. 阿里雲開發者社區 AI30

    深度學習癌症影像診斷方法綜述

    深度學習癌症影像診斷研究由端到端分類,逐步發展至可解釋模型、腫瘤內異質性建模及多模態放射基因組融合。綜述涵蓋 Grad-CAM、概念瓶頸模型(CBM)及 HA-DLC 等方法,並比較它們在精度、計算效率、標註需求與臨牀可解釋性上的取捨。跨中心泛化、數據異質與標註稀缺仍是臨牀部署的主要挑戰。

  9. 阿里雲開發者社區 AI25

    深度學習步態識別綜述

    深度學習步態識別由二維剪影的時序建模,逐步發展至三維重建、多模態融合及大模型與生成式 AI,研究目標亦從身份識別延伸至屬性估計和臨牀診斷。GaitSet、SMPLGait、LidarGait、FoundationGait 和 BioGait-VLM 等方法呈現不同技術路線,涉及表徵學習、跨模態對齊、魯棒性與隱私保護。文章梳理各路線的演進、取捨和應用。

  10. 阿里雲開發者社區 AI27

    牙科影像分析深度學習綜述

    牙科影像分析研究由 CNN 主導的單一任務分割與分類,逐步發展至結合自監督學習、Mamba 與視覺語言模型的多元方法,目標是在標註稀缺、多模態異構及計算受限的條件下提升幾何保真度、跨域泛化與臨牀推理能力。綜述梳理牙齒分割與重建、疾病診斷、多模態大模型及幾何規劃等研究路線,並指出專用小模型與通用大模型需要融合,而非互相取代。

11月21日週六
  1. 阿里雲開發者社區 AI38

    LLM 驅動的數據可視化生成與評估綜述

    這篇綜述梳理 LLM 驅動數據可視化生成與評估的演進,涵蓋從規則系統到多智能體協作,以及評估從結構匹配轉向多維對齊。MultiVis-Agent 在 MultiVis-Bench 上的任務完成率為 74.18%,以部分生成靈活性換取可靠性。領域核心問題是在確保數據保真度的同時,實現複雜可視化的可靠生成。

11月20日週五
  1. HuggingFace Daily Papers(社區熱門論文)35

    Direct3D-V3:原生體素域中的無潛變量擴散 Transformer

    Direct3D-V3 提出一種無潛變量的擴散 Transformer 框架,捨棄 VAE,直接在原生體素域建模 SDF 體素網格。框架以鄰近體素的隱式流形正則化抑制非封閉表面,並預測條件圖像的相機參數;生成網格具有更豐富的局部細節,亦可用於生成式重建。

  2. HuggingFace Daily Papers(社區熱門論文)43

    探究視覺語言模型的「意識」:選擇性存取與全域工作空間

    研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。

  3. HuggingFace Daily Papers(社區熱門論文)33

    HiUni 如何在共享視覺空間中統一理解與生成

    HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。

  4. HKGAI 香港生成式人工智能研發中心43

    HKGAI 團隊奪 ACM MM 2026 最佳論文獎

    HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。

  5. HuggingFace Daily Papers(社區熱門論文)43

    DailySafe:評測日常多輪多模態互動中的動態安全意識

    DailySafe 是一項評測多模態大語言模型能否在日常多輪互動中追蹤安全風險並提供合適協助的基準。它包含 195 組自然情境的多輪、多圖片互動,涵蓋 10 個日常領域及 42 類任務。DailySafe 已公開,並以個案安全標註評估模型在支持用戶正當目標的同時,能否識別及應對逐步浮現的風險。

  6. HuggingFace Daily Papers(社區熱門論文)42

    Depth Pro 2:清晰且時間一致的單目度量深度估算

    Depth Pro 2 提出單一可擴展網絡,以原生解像度為圖像及影片估算稠密度量深度,兼顧度量準確度、邊界清晰度和時間一致性,並在這些方面超越以往方法。團隊發布了一系列模型,在度量準確度、清晰度、時間一致性及運行時間方面開創新的 Pareto 前沿,並提供程式碼和權重。

  7. Stanford HAI News53

    TRACER 結合 ICU 影片與病歷,協助及早識別譫妄徵兆

    研究團隊開發 TRACER,結合 ICU 牀邊影片與電子健康紀錄追蹤患者活動變化,協助醫護及早識別譫妄徵兆。系統每分鐘抽樣15類「原子動作」,再整理成逐小時報告;測試中動作偵測準確率為85%,醫師查詢答對率為61%。在280名 ICU 患者中,譫妄篩查呈陽性者的「目的性活動」較少;研究團隊表示,TRACER 未使用患者資料訓練。

  8. Prime Intellect51

    Prime Intellect 回顧 2026 年 RL Residency 研究成果

    Prime Intellect 回顧 RL Residency 在 2026 年支持的開放研究成果,分為評測、訓練環境和其他研究三類。項目涵蓋 Maze Bench、OpenTTD-Bench、PretrainGym、AerialSim 等;Maze Bench 中,當前最佳大語言模型在不使用編碼工具時準確率最高為 16%,使用編碼工具時最高為 23%。

  9. LlamaIndex:產品、工程與評測53

    ParseBench-2 如何建立文件解析評測基準

    ParseBench-2 將文件解析評測分為六個維度,並透過嚴重程度政策設定不同錯誤對分數的影響。六個測試套件涵蓋330種錯誤及良性變化,基準包含4,317個頁面案例。Metric Lab 允許用戶調整維度權重、錯誤嚴重度及錯誤分類;作者指出,符合預設政策不代表評分與所有用戶的判斷一致,也不能證明可泛化至未見文件。

11月19日週四
  1. HuggingFace Daily Papers(社區熱門論文)42

    AVTR:以視覺想像實現自適應多模態推理

    AVTR 結合生成式視覺反思與文字推理,並按輸入內容學習選擇推理方式,以適應不同的感知與推理需求。在 16 項基準測試中,AVTR 較 Qwen3.5 基線平均提升 4.5 分,同時將推理延遲降低 33%。擴展至較小規模的骨幹模型時,AVTR 亦勝過受評估的 2B 規模基線。

  2. HuggingFace Daily Papers(社區熱門論文)45

    PReMind:個人記憶如何結合視覺危險資訊

    PReMind 提出兩階段強化學習框架,訓練個人化視覺語言助理結合視覺危險證據與用戶記憶,作出合適回應。PReMind-Bench 評估記憶提取、視覺根據、拒答及危險應對,並測試各項能力的聯合表現。4B 版本在相互依存測試集的聯合成功率由基礎模型的 12.9% 提升至 28.6%。

  3. HuggingFace Daily Papers(社區熱門論文)40

    WorldRuler:可配置規則下的互動世界建模

    WorldRuler提出基於規則圖的生成式世界模型,可在儲存及載入時保留用戶定義的規則與世界狀態,並準確呈現規則對指定物件及屬性造成的視覺變化。研究以 GTA-V 和 Habitat 建立 RuleVerse 數據集,並透過動態物件綁定、屬性狀態替換及反事實重建訓練,提升規則執行與影片生成的一致性。

  4. HuggingFace Daily Papers(社區熱門論文)45

    Jeveration:System One 模型現可生成圖像

    Jeveration 將凍結的視覺語言模型改作生成模型,讓 System One 模型以單次前向傳播生成連貫圖像,並支援圖像轉圖像及密集預測。模型生成 512x512 圖像需時 78 ms,速度最高比現有統一模型快 122x。實驗顯示,其圖像質素及密集預測效能具競爭力。

  5. 新浪科技48

    香港中文大學(深圳)與微軟研究院提出 ConvexLLM,讓聲音接入大語言模型的知識與推理能力

    香港中文大學(深圳)與微軟研究院提出多模態建模架構 ConvexLLM,以 C-Gate 將音頻表示映射至語言模型凍結文字詞向量的凸包中。ConvexLLM 在 VoiceBench 11 項任務綜合評測中取得 75.36 分,領先同量級開源權重模型。模型在 BBH 得分為 80.40%,較最強基線高 8.80 個百分點。

  6. HuggingFace Daily Papers(社區熱門論文)45

    GameRealm:以互動遊戲為視覺學習提供基礎

    GameRealm 是大型多模態遊戲資料集,收錄超過 120 million 個 RGB 影格及 1,000 hours 遊戲片段,並以同步標註將視覺觀察與遊戲中的監督訊號連結。資料集涵蓋深度、相機參數、音訊、控制輸入及 3D 點軌跡,並支援單視角、立體、多視角及全景錄製。實驗顯示,GameRealm 能提升視覺基礎模型在視覺生成及幾何學習任務上的表現。

11月18日週三
  1. HuggingFace Daily Papers(社區熱門論文)47

    M3OPD-Reasoner:以多教師 on-policy 蒸餾進行多模態推理後訓練的開放方案

    M3OPD-Reasoner提出一套完全開放的多模態推理後訓練方案,涵蓋圖像 STEM、圖像感知及影片三個領域。評測 21 個基準後,研究發現從 Qwen3.5-9B 直接以 GSPO 訓練各領域教師,再用 MOPD 蒸餾的方案表現最佳;接續 MixRL 仍可提升學生模型,形成 M3OPD-Reasoner-9B。

  2. HuggingFace Daily Papers(社區熱門論文)45

    π^4:用於 4D 場景幾何與運動的基礎模型

    π^4 是面向 4D 場景感知的統一基礎模型,可從未經標定的 RGB 圖像或影片中恢復稠密幾何、相機位姿和度量尺度,並為多圖輸入提供點追蹤及移動物體遮罩。在多項基準測試的幾何評估中,π^4 的整體平均排名最佳,2D/3D 點追蹤及移動物體分割表現具競爭力。完整系統約有 0.5B 參數,可在一次前向傳播中聯合重建與追蹤,處理數千張輸入圖像;訓練上下文最多為 64 個視角,程式碼和模型已提供。

  3. HuggingFace Daily Papers(社區熱門論文)51

    WM^MLLM 將多模態大型語言模型轉化為世界模型

    論文提出 WM^MLLM,利用多模態大型語言模型(MLLMs)維護外部全景狀態及修訂歷史,從單張圖像生成可持續編輯、可精確重訪的世界。模型把每項請求轉為全景狀態操作,選擇局部編輯區域並檢查候選結果;同一修訂版本的重訪可重現原視角,通過檢查的局部編輯不改動區域外像素。