跳到正文
阿里雲開發者社區 AI·· 13 小時前AI 評分32

視覺語言模型評估與基準綜述

A Survey of Vision-Language Model Evaluation and Benchmarking |视觉语言模型评估与基准综述

AI 導讀

視覺語言模型評估由早期驗證零樣本跨模態對齊,逐步轉向診斷推理、指令遵循、魯棒性與可信部署。現有方法涵蓋靜態基準、動態評估及診斷探針,並延伸至多語言、多文化、安全對齊和具身場景。評估範式正由離線測試擴展至動態、交互式場景,關注模型在真實環境中的可靠性與公平性。

正文

简介: 视觉语言模型(Vision-LanguageModel,VLM)评估领域的兴起,源于基础模型从单模态向多模态的范式转移,其核心驱动力是验证大规模预训练对跨模态对齐的有效性。早期研究聚焦于对比学习模型在标准视觉任务上的零样本能力,思路简洁却受制于表示质量与任务单一性。当生成式VLM暴露出细粒度组合性、空间关系及事实幻觉上的严重缺陷后,评估重心从“感知准确性”转向“推理与指令遵循”,并深入探究语言先验偏差与数据污染等失败根源。各路线在静态基准的稳定性、动态评估的抗污染性及诊断探针的机制洞察力之间做出了不同取舍,由此形成当前多元并存的方法格局。

综述原文见 www.arxivreview.com

导读

视觉语言模型(Vision-Language Model, VLM)评估领域的兴起,源于基础模型从单模态向多模态的范式转移,其核心驱动力是验证大规模预训练对跨模态对齐的有效性。早期研究聚焦于对比学习模型在标准视觉任务上的零样本能力,思路简洁却受制于表示质量与任务单一性。当生成式 VLM 暴露出细粒度组合性、空间关系及事实幻觉上的严重缺陷后,评估重心从“感知准确性”转向“推理与指令遵循”,并深入探究语言先验偏差与数据污染等失败根源。各路线在静态基准的稳定性、动态评估的抗污染性及诊断探针的机制洞察力之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从能力展示到可信部署的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

视觉语言模型评估的起源,紧密伴随基础模型从单模态向多模态的范式转移。2020 至 2021 年间,研究核心在于验证大规模对比预训练(如 CLIP)在零样本场景下跨模态对齐的有效性,问题形式化通常表现为在未见过的类别或任务上,模型能否仅凭预训练知识完成分类或检索。这一阶段的核心概念是零样本泛化(Zero-shot Generalization),其评估边界局限于静态图像与单一语言,旨在回答“模型是否学到了通用的视觉-语言对齐表示”。

随着 2022 至 2023 年 LLaVA、BLIP-2 等结合大语言模型(LLM)的生成式 VLM 涌现,问题定义发生了关键转折。评估重心从单纯的“感知准确性”转向“推理与指令遵循”,并暴露出模型在细粒度组合性(Compositionality)、空间关系及事实幻觉(Hallucination)上的严重缺陷。此时,子问题呈现层级依赖关系:基础感知(如对象、属性、关系的细粒度理解)是底层依赖,若底层感知失效,上层推理必然失败。组合性被分解为系统性(Systematicity)和生产力(Productivity),成为评估 VLM 推理能力的试金石,而幻觉则成为开放生成任务中最主要的安全与可靠性障碍。

2024 至 2025 年,领域进入“诊断与鲁棒性”深水区。研究不再仅追求 SOTA 分数,而是深入探究模型失败的根本原因,如语言先验(Language Prior)偏差、文化偏见、数据污染及模态间隙(Modality Gap)。语言先验指模型依赖文本统计规律而非视觉证据进行预测的偏差,导致在视觉-文本不一致时产生错误判断。鲁棒性(Robustness)则成为连接实验室与真实世界的桥梁,分为视觉鲁棒性和文本鲁棒性,决定模型在真实分布下的可用性。这一阶段的核心矛盾在于:模型规模的扩大并未自动解决细粒度理解与鲁棒性问题,评估需揭示“规模”与“能力”的非线性关系。

当前(2025-2026),评估范式正从静态基准向动态、交互式及多语言/多文化场景扩展。评估不再局限于离线测试,而是强调在真实世界复杂约束(如低资源语言、长视频、物理压力)下的可靠性与公平性。文化多样性与安全对齐成为应用层的伦理与公平性约束,独立于技术性能但同等重要。一致性(Consistency)即模型对语义等价输入产生相同输出的能力,成为衡量模型决策稳定性与部署可靠性的关键指标。

回顾约束演化史,2021 年 GEM 和 VALSE 确立了多模态评估的基础范式,但局限于静态图像和单一语言。2022 年 GRIT 和 VL-CheckList 推动了从单一任务评估向通用视觉能力评估的转变,确立了组合性评估的方法论基础。2023 年 CREPE 揭示了模型规模与组合性能力之间缺乏显著相关性,RoCOCO 揭示了 VLM 对文本细微变化的脆弱性,促使研究从“分数”转向“原因”。2024 至 2025 年,LAION-C 解决了 Web 数据 OOD 问题,Kaleidoscope 扩展至 18 种语言,标志着评估进入“深水区”。2026 年,RoboStressBench 引入物理压力,PokeGym 实现闭环具身评估,标志着评估从“离线测试”向“在线交互”的范式转移。

如果用一个核心问题概括该领域,那便是:如何在动态、噪声且文化异质的真实环境中,建立一套能够区分“统计捷径”与“真实语义理解”的可信评估体系,以界定 VLM 从实验室演示走向安全部署的能力边界。

2. 方法体系

  • 2021:GEM——构建涵盖图像、视频、文本等多模态任务的通用评估基准

  • 2022:GRIT——提出任务无关的通用图像任务基准

  • 2023:CREPE——构建评估视觉语言基础模型组合性的基准

  • 2024:MMComposition——重新审视预训练视觉语言模型的组合性

  • 2025:LAION-C——针对Web规模视觉模型提出新的分布外(OOD)基准

  • 2026:VLM-SubtleBench——评估VLM在细微比较推理上的能力

这条时间线勾勒了该领域方法演进的代表性节点:从 2021 年的 GEM 奠定该领域方法基线,经 2022 年 GRIT 的推进,到 2026 年的 VLM-SubtleBench 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 基础感知与细粒度理解

基础感知与细粒度理解评估的起源,在于揭示模型在简单视觉任务中的局限性。2022 年,VL-CheckList(Zhao et al., 2022, P4)设计包含对象、属性和关系三个维度的评估清单,通过系统性扰动量化预训练模型在细粒度组合理解上的表现,确立了组合性评估的方法论基础。2023 年,CREPE(Ma et al., 2022, P5)进一步将组合性分解为系统性和生产力两个维度,利用 Visual Genome 及 LAION-400M 等预训练数据集生成硬负样本,揭示了模型规模与组合性能力无关的重要结论。

针对 CREPE 在检索任务上的局限,MMComposition(Hua et al., 2024, P13)重新审视预训练 VLM 的组合性,明确指出对比预训练缺乏学习组合性的激励,并设计了专门针对组合性理解的评估协议。其代价是评估任务侧重于检索,可能无法完全反映生成任务中的组合性表现。2025 年,ColorBench(Liang et al., 2025, P22)将颜色理解从简单的命名扩展到复杂的推理和鲁棒性测试,填补了现有基准在颜色维度上的空白,揭示了 VLM 在颜色理解上的普遍短板。2026 年,VLM-SubtleBench(Kim et al., 2026, P31)聚焦于低层视觉技能中的细微差异检测,通过构造视觉上极其相似但存在细微差异的图像对,量化了 VLM 与人类在细微视觉感知上的差距。Grid2Matrix(Zhang et al., 2026, P33)则通过密集网格任务揭示了 VLM 在空间结构理解上的内在局限,挑战了“规模即能力”的假设。

路线 核心决策 放弃什么 换取什么 代表方法 适用场景
基础感知 硬负样本与细微差异生成 通用性 组合性与低层感知的精确诊断 CREPE, ColorBench 细粒度属性、空间关系、颜色理解
鲁棒性 从合成噪声转向真实物理压力 可控性 生态效度(Ecological Validity) RoCOCO, RoboStressBench 真实世界部署、具身 AI
自动化 利用 LLM 生成数据 静态稳定性 抗污染能力与覆盖度 Auto-Bench, VisionArena 快速迭代、动态交互
文化安全 引入非西方文化与对抗诱导 单一语言/安全边界 公平性与鲁棒安全评估 WorldCuisines, ELITE 全球化部署、安全关键应用

2.2 鲁棒性与抗干扰评估

鲁棒性评估的演进,反映了从实验室可控环境向真实世界复杂场景的延伸。2023 年,RoCOCO(Park et al., 2023, P6)基于 MS-COCO 构建图像-文本匹配模型的鲁棒性基准,通过随机替换文本中的单词,揭示了 VLM 对文本细微变化的脆弱性。其代价是随机替换可能产生语义不连贯的句子,影响评估的自然性。2025 年,LAION-C(Li et al., 2025, P25)针对 Web 规模视觉模型提出新的分布外(OOD)基准,设计了六种针对 LAION 数据集特有的新失真类型,解决了传统 ImageNet-C 失真在 Web 数据中已不再 OOD 的问题。

2026 年,RoboStressBench(Wu et al., 2026, P36)构建具身场景下物理视觉压力基准,模拟低光照、遮挡、反射等真实世界视觉退化,发现即使最强模型在物理压力下的准确率也远低于饱和水平。Cross-Distribution & Prompted Denoisers(WACV 2026, P39)提出增强视觉语言模型腐败鲁棒性的方法,通过跨分布视觉去噪器和零样本文本去噪器,区分模型固有鲁棒性与系统鲁棒性。Self-Critical Inference Framework(Tang et al., 2026, P30)则通过自批判推理框架扩展测试时鲁棒性,利用反事实轮次增加来缓解语言敏感性和偏见问题,无需重新训练模型。

2.3 自动化评估与基准构建

自动化评估与基准构建的兴起,旨在解决人工评估成本高及基准静态化的问题。2023 年,Auto-Bench(Ji et al., 2023, P7)利用大语言模型作为自动对齐器,通过 LLM 生成多样化的视觉问题并评估 VLM 回答,实现了评估基准的动态生成与自动化。其代价是 LLM 生成的问题可能受其自身偏见影响。2024 年,VisionArena(Chou et al., 2024, P18)构建包含 23 万真实世界用户-VLM 对话的偏好标签基准,通过众包评估捕获多轮对话和开放-ended 任务的真实用户交互,填补了现有基准在真实世界交互评估上的空白。

VL-RewardBench(Li et al., 2024, P17)构建挑战视觉语言生成奖励模型的基准,揭示了现有 VLM 作为奖励模型的局限性。DataComp-VLM(Farina et al., 2026, P37)通过固定模型架构和训练过程,仅改变数据,系统研究预训练数据策展的影响,揭示了混合而非过滤是数据策展的主导杠杆。Seeing Isn't Believing(Khan et al., 2026, P34)揭示评估器视觉语言模型的盲点,通过基于失败模式的扰动生成,量化了评估器 VLM 在检测图像生成错误上的不足,揭示了其可能产生误导性排名和强化不良行为的风险。

2.4 文化多样性与多语言

文化多样性与多语言评估的兴起,源于模型在西方中心主义训练数据下表现出的偏见。2024 年,WorldCuisines(Winata et al., 2024, P15)构建大规模多语言、多文化视觉问答基准,涵盖全球多种菜系,填补了非西方文化评估的空白。2025 年,Kaleidoscope(Salazar et al., 2025, P21)提出大规模多语言视觉评估基准,涵盖 18 种语言,揭示了模型在低资源语言和非拉丁文字上的显著性能下降。

2026 年,BanglaProtha(WACV 2026, P40)评估 VLM 在孟加拉语等长尾文化语境下的表现,揭示了多语言 VLM 在特定文化背景下的局限。Seeing Symbols, Missing Cultures(Yu et al., 2025, P28)通过探测 VLM 对火焰图像和文化意义的推理,揭示了模型在文化符号理解上的“语义错觉”。M2BIND(Chakraborty et al., 2026, P38)提出多语言多模态绑定任务,揭示了 VLM 作为脆弱多语言关联器的特性,即模型在非英语输入下准确率的下降。

2.5 安全对齐与伦理评估

安全对齐与伦理评估的兴起,旨在构建更可信、符合人类价值观的多模态系统。2025 年,ELITE(Lee et al., 2025, P19)提出增强语言-图像毒性评估基准,通过过滤不成功的图像-文本对并引入多种诱导有害输出的方法,全面评估 VLM 的安全性对齐。VSCBench(Geng et al., 2025, P23)构建视觉语言模型安全校准基准,关注过度安全(Oversafety)问题,揭示了模型在安全校准上的偏差。

2026 年,SafeGuard-VL(Piao et al., 2026, P29)提出策略自适应图像护栏基准与方法,通过两阶段训练(SFT+RL)使模型适应不同安全策略,解决了传统护栏模型过拟合于固定策略的问题。Benchmarking VLM Unlearning(Ma et al., 2024, P16)通过虚构面部身份数据集评估视觉语言模型的遗忘能力,揭示了 VLM 在隐私保护上的不足。DIS-CO(Duarte et al., 2025, P20)提出发现 VLM 训练数据中受版权保护内容的方法,通过查询模型对特定电影帧的理解,检测训练数据中的版权泄露。

2.6 垂直领域应用评估

垂直领域应用评估的兴起,旨在评估 VLM 在专业场景下的理解、推理及辅助决策能力。2024 年,μ-Bench(Lozano et al., 2024, P10)构建显微镜理解基准,揭示了通用 VLM 在专业生物医学图像上的不足。VLM4Bio(Maruf et al., 2024, P12)构建评估预训练视觉语言模型从生物图像中发现性状的基准,揭示了 VLM 在科学推理上的不足。AgEval(Arshad et al., 2024, P11)构建评估 VLM 在植物压力表型分析中能力的基准,揭示了通用 VLM 在专业农业任务上的适应性。

2025 年,ShotBench(Liu et al., 2025, P26)构建专家级电影镜头理解基准,为文生视频模型的电影感生成提供了评估依据。2026 年,PokeGym(Zhang et al., 2026, P32)构建视觉驱动的长时程具身基准,在 3D 环境中评估 VLM 的感知、动作和长时程目标追求能力,实现了闭环交互评估,揭示了 VLM 在具身环境中的长时程规划能力不足。

2.7 模型一致性与可靠性

模型一致性与可靠性评估的兴起,旨在提升模型的可信度与部署稳定性。2024 年,ConBench(Zhang et al., 2024, P8)提出评估大型视觉语言模型一致性的基准,揭示了 LVLM 在感知、认知和知识层面的不一致性。VLind-Bench(Lee et al., 2024, P9)提出测量大型视觉语言模型语言先验的基准,揭示了 VLM 的语言先验偏差。

2025 年,PARC(Schmalfuss et al., 2025, P24)提出定量框架揭示视觉语言模型中的对称性,提供了可比较的可靠性评分。Test-Time Consistency(Chou et al., 2025, P27)提出测试时一致性方法,通过在后处理阶段对语义等价变体进行少量梯度步骤优化,无需大规模训练即可提升 VLM 在语义等价输入下的可靠性。Can We Predict Performance(Zhao et al., 2024, P14)提出基于概率矩阵分解(PMF)和马尔可夫链蒙特卡洛(MCMC)的 VLM 性能预测框架,为模型选择提供了依据。

3. 关键共识、分歧与开放问题

3.1 领域共识

当前 SOTA VLM 在细粒度视觉感知(如空间关系、计数、颜色、纹理)上仍存在显著缺陷,远未达到人类水平,这一共识在约 20 篇论文中得到共同支持。对比预训练(Contrastive Pretraining)是导致 VLM 组合性理解不足和语言先验偏差的主要原因,模型倾向于依赖名词捷径而非深层语义,约 15 篇论文共同支持这一观点。数据污染是 VLM 评估中的普遍问题,传统基于 N-gram 的检测方法在多模态场景下失效,需要专门的多模态语义扰动检测方法,约 10 篇论文共同支持。VLM 表现出明显的西方文化偏见和英语中心主义,在非英语语言和多元文化背景下性能显著下降,需开发多语言、多文化基准,约 12 篇论文共同支持。模型规模(Scaling)并不能自动解决组合性、鲁棒性或细粒度理解问题,性能提升存在瓶颈,需结合数据质量和训练策略优化,约 10 篇论文共同支持。VLM 在安全对齐方面存在“过度安全”(Oversafety)和“欠安全”(Undersafety)的校准问题,且对视觉对抗攻击脆弱,需平衡安全性与可用性,约 8 篇论文共同支持。现有静态基准难以反映真实用户交互场景,动态、交互式及基于人类偏好的评估(如 VisionArena)更能揭示模型在开放环境中的真实能力,约 8 篇论文共同支持。VLM 在视觉-文本一致性上表现不佳,对提示词变化敏感,缺乏语义等价输入下的稳定输出,影响其在高可靠场景的部署,约 8 篇论文共同支持。

3.2 观点分歧

对比预训练是 VLM 组合性缺陷的根本原因,还是可通过数据/架构改进修复的偏差?观点 A(根本缺陷)认为 CREPE, MMComposition 指出对比预训练缺乏对硬负样本的激励,导致模型依赖捷径,规模扩大无效。观点 B(可修复偏差)认为 MMComposition, DataComp-VLM 指出通过引入硬负样本、优化数据策展(混合而非过滤)可部分缓解组合性问题。现有证据偏向观点 A,CREPE 显示模型规模与组合性能力无关。但 MMComposition 显示硬负样本可提升性能。证据强度中等,缺乏大规模对比预训练与生成式预训练在相同数据量下的公平对比。这一分歧的背后,是另一个更根本的争论:动态/自动化评估(LLM 生成)是否比静态基准更可靠?观点 A(更可靠)认为 Auto-Bench, VisionArena 指出动态评估可避免数据污染,且更贴近真实用户交互。观点 B(不可靠)认为 VL-RewardBench, Seeing Isn't Believing 指出评估器(LLM)自身存在盲点和偏见,可能导致误导性排名。现有证据偏向观点 B,VL-RewardBench 显示 VLM 作为奖励模型在幻觉检测和复杂推理上存在局限。证据强度较强,多项研究证实评估器偏差。未定论原因是缺乏对“评估器可靠性”的独立基准。

3.3 其他开放问题

当前领域面临“工程问题”(如数据污染检测、多语言数据收集)与“研究问题”(如组合性的本质、幻觉的机制)的双重挑战。最紧迫的工程问题是多模态数据污染检测,现状是传统 N-gram 方法失效,关键困难在于多模态语义的复杂性,研究路径是开发专门的多模态语义扰动检测方法。最根本的研究问题是组合性的认知机制,现状是 CREPE 显示规模无效,关键困难在于测量工具盲区,研究路径是构建更精细的组合性评估指标。值得冒险的方向包括:1) 具身鲁棒性(RoboStressBench);2) 文化公平性(Kaleidoscope, BanglaProtha);3) 评估器可靠性(VL-RewardBench, Seeing Isn't Believing)。这些方向将决定 VLM 能否从“玩具”走向“工具”。

4. 总结与展望

VLM 评估已从“能力展示”的竞赛转变为“可信部署”的诊断。核心任务是在动态、噪声且文化异质的环境中,建立区分“统计捷径”与“真实理解”的评估体系。当前整体走向是“诊断化”与“真实化”,核心问题是如何在动态、噪声且文化异质的环境中,建立一套能够区分“统计捷径”与“真实语义理解”的可信评估体系。未来需融合静态基准的稳定性、动态评估的抗污染性、以及诊断探针的机制洞察力,以界定 VLM 的能力边界。

未来可能突破的方向包括:1) 开发能够处理文化多样性和多语言能力的 VLMs,解决当前模型在西方中心主义训练数据下表现出的偏见和局限性;2) 提升 VLMs 在细粒度视觉理解和组合推理方面的能力,解决模型在对象属性、关系和空间结构理解上的不足;3) 增强 VLMs 的鲁棒性,使其能够应对分布外数据、视觉失真和物理视觉压力。对进入者最值得做的一件事是:构建针对评估器自身的可靠性基准,以解决动态评估中评估器偏差的问题,为 VLM 的可信部署提供基础。

以上为节选,完整内容见ArxivReview

來源:阿里雲開發者社區 AI · developer.aliyun.com