跳到正文
阿里雲開發者社區 AI·· 14 小時前AI 評分30

人類與大語言模型標註質素研究綜述

A Survey on Human and LLM Annotation Quality |人机与大语言模型标注质量研究综述

AI 導讀

這項綜述梳理人類與 LLM 標註質素研究,説明領域如何由統計聚合轉向測量學診斷。研究關注 LLM 標註的系統性偏差與提示詞敏感性,並整理評估診斷、人機協同、多智能體聚合等六條技術路線,探討如何在有限預算下兼顧成本與標籤可靠性。

正文

简介: 数据标注长期受制于人工成本高企与主观噪声,其核心矛盾在于扩展性需求与标签可靠性之间的张力。早期研究依赖众包与弱监督聚合,试图通过统计方法从噪声中恢复真值,但难以应对语义复杂任务。随着大语言模型(LLM)的引入,标注范式从“人力密集”转向“算法-人力混合”,LLM在客观任务上展现出低成本优势,却在主观语境中暴露出先验偏差与提示词敏感性。这一发现促使研究重心从单纯追求准确率,转向量化标注过程的测量学属性,如校准度、漂移与可复现性。当前领域正构建具有理论保证的人机协同框架,通过误差分解与统计校正,在有限预算下实现成本与质量的最优权衡。

综述原文见 www.arxivreview.com

导读

数据标注长期受制于人工成本高企与主观噪声,其核心矛盾在于扩展性需求与标签可靠性之间的张力。早期研究依赖众包与弱监督聚合,试图通过统计方法从噪声中恢复真值,但难以应对语义复杂任务。随着大语言模型(LLM)的引入,标注范式从“人力密集”转向“算法-人力混合”,LLM 在客观任务上展现出低成本优势,却在主观语境中暴露出先验偏差与提示词敏感性。这一发现促使研究重心从单纯追求准确率,转向量化标注过程的测量学属性,如校准度、漂移与可复现性。当前领域正构建具有理论保证的人机协同框架,通过误差分解与统计校正,在有限预算下实现成本与质量的最优权衡。各路线在计算开销、理论严谨性与工程落地性之间做出了不同取舍,形成了多元并存的方法格局。本综述梳理这条从统计聚合到测量学诊断的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

数据标注作为机器学习的基础环节,长期面临人工标注成本高、扩展性差及主观性导致的噪声问题。2020 年前,领域主流范式是“人工主导”,核心目标是通过众包解决规模问题,但标注者间一致性(Inter-Annotator Agreement, IAA)低和主观偏差成为瓶颈。这一阶段的问题形式化通常假设存在单一“真实标签”,标注噪声被视为随机误差,可通过多数投票或期望最大化(EM)等统计方法消除。然而,当任务涉及隐喻、仇恨言论等主观或语境依赖内容时,这种“单一真值”假设失效,标注歧义成为固有属性,传统方法无法区分任务模糊性与标注者错误。

随着大语言模型(Large Language Models, LLMs)的兴起,问题定义发生了根本性转变。2023 年,LLM-as-Annotator 范式的引入标志着从“人工主导”到“LLM 辅助”的转折,研究重心转向评估 LLM 作为零样本或少样本标注者的可靠性边界。早期实证发现 LLM 在客观任务上可媲美人类专家,且成本仅为后者的三十分之一,但在主观任务中表现不稳定。这一发现揭示了 LLM 不仅是标注工具,更是一个受提示词和模型先验影响的不稳定测量仪器。问题形式化随之扩展,从单纯的准确率优化,转向关注标注过程的测量学属性,如校准度(Calibration)、提示词敏感性(Prompt Sensitivity)及漂移控制。

子问题之间呈现严格的依赖关系。LLM 可靠性评估是基础,决定了人机协同策略的设计阈值;标签聚合与噪声处理依赖于对标注者可靠性的准确估计;统计校正则依赖于对系统性偏差的量化,是确保下游统计推断有效性的最后一道防线。这种依赖结构意味着,若无法准确诊断 LLM 的误差来源(如先验冲突 vs. 指令遵循失败),后续的去偏或聚合策略将缺乏针对性。因此,领域核心问题演变为:如何在承认 LLM 标注存在系统性偏差与提示词敏感性的前提下,构建具有理论保证的人机协同框架,以最小化成本实现统计上无偏且可复现的高质量标签生成。

约束条件的演化驱动了方法路线的更迭。2016-2018 年,Snorkel 等弱监督框架确立了“数据编程”范式,通过规则生成噪声标签并聚合,解决了大规模标注的人力成本问题,但假设标注源独立且噪声随机。2020 年,跨域基准暴露出域偏移下的性能崩溃,促使研究者关注标注的领域适应性。2023 年,LLM-as-Annotator 的引入打破了传统自动化标注的边界,但同时也引入了新的约束:提示词工程的黑盒性与模型先验的不可控性。2024-2025 年,多智能体框架(如 MAFA)和混合标注流程(如 ACT)出现,试图通过共识机制和置信度阈值缓解单一 LLM 的不稳定性,但计算成本显著上升。

2026 年,领域进入“质量工程化”阶段,重点在于构建鲁棒的 LLM 标注框架、量化标注歧义、以及开发去偏和错误检测机制。HyPAC 等具有 PAC 误差保证的框架,标志着从启发式规则向理论严谨性的转变,旨在为预算敏感型项目提供可证明的成本-质量最优解。与此同时,误差分解框架(Error Decomposition)和提示词可靠性(Inter-Prompt Reliability, IPR)指标的出现,使得标注过程从“黑盒输出”转变为“可诊断的测量过程”。当前形态下,领域不再追求单一的 SOTA 准确率,而是关注标注系统的鲁棒性、可解释性与统计有效性,形成了评估诊断、协同流程、多智能体聚合、指南工程、噪声处理与偏差校正六条并行的技术路线。

如果用一个核心问题概括该领域,那便是:如何在承认 LLM 标注存在系统性偏差与提示词敏感性的前提下,构建具有理论保证的人机协同框架,以最小化成本实现统计上无偏且可复现的高质量标签生成。

2. 方法体系

  • 2008:GLAD——基于 EM 框架的众包标签聚合模型,奠定噪声恢复统计范式

  • 2016:Snorkel——程序化弱监督框架,开创数据编程范式

  • 2017:Active Learning——主动学习策略,确立模型选择-人类标注迭代闭环

  • 2023:LLM-as-Annotator——确立 LLM 零样本标注范式,引发可靠性研究

  • 2024:Mixture-of-LLMs——混合 LLM 标注策略,展示多模型集成潜力

  • 2025:ACT (Annotation with Critical Thinking)——引入批判性思维机制,确立置信度驱动人机分工

  • 2026:HyPAC (Cost-Efficient LLMs-Human Hybrid Annotation)——具有 PAC 误差保证的混合标注框架

  • 2026:Error Decomposition——LLM 标注错误分解框架,区分系统性误差与随机误差

这条时间线勾勒了该领域方法演进的代表性节点:从 2008 年的 GLAD 奠定该领域方法基线,经 2016 年 Snorkel 的推进,到 2026 年的 Iterative Guideline Refinement 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 标签聚合与噪声处理

标签聚合与噪声处理是该领域最古老的路线,其起源可追溯至 2008 年 Hofmann 等人提出的 GLAD 模型。GLAD 通过期望最大化(EM)框架联合估计标注者可靠性、任务难度及真实标签,解决了早期众包数据中因标注者能力差异导致的噪声问题,确立了从噪声标注中恢复真值的基础统计范式。随后,2016 年 Ratner 等人提出的 Snorkel 框架进一步开创了“数据编程”范式,允许领域专家通过编写标记函数(Labeling Functions)生成噪声标签,并利用生成式标签模型聚合这些信号。Snorkel 的核心取舍在于放弃了对单一真值的直接观测,换取了大规模数据标注的人力成本降低,但其假设标注源独立且噪声随机,在标注者存在强烈相关性或系统性偏差时效果受限。

进入 LLM 时代,该路线面临新的挑战:LLM 生成的标签噪声并非随机,而是受提示词和模型先验影响的系统性偏差。2025 年,Ghiasvand 等人提出的 REALM(Reliable Expertise-Aware Language Model Fine-Tuning)针对这一短板,通过建模标注者的专业领域知识、任务熟悉度及注意力水平,在微调过程中加权不同标注者的贡献。REALM 摒弃了传统的大多数投票机制,直接利用标注者元信息优化模型参数,放弃了投票过程的简单性,换取了对高质量标注的更高敏感度。与 Snorkel 相比,REALM 的本质差异在于其假设标注者具有可量化的“专家属性”,而非同质化的噪声源,这使得它在处理低预算众包数据时更为精细,但也增加了对标注者元信息获取的依赖。

2026 年,Chen 等人提出的 AHEAD(Advancing Multi-Class Label Aggregation)进一步超越了传统的独立标注者假设,通过建模标注者之间的交互效应及类别特定的错误模式,提升了多分类任务中真值推断的准确性。AHEAD 的核心改进在于揭示了标注者群体动态对标签聚合的影响,提供了更细粒度的可靠性建模。其代价是模型参数增加,计算复杂度上升,且交互效应的估计需要大量数据。与 REALM 相比,AHEAD 更关注标注者间的社会性动态,而 REALM 更关注个体标注者的能力差异,两者在互补中共同推动了标签聚合从“独立噪声假设”向“交互依赖建模”的演进。此外,Lam 等人(2026)提出的结构化探索与利用策略,通过自动化生成与优化标记函数,降低了 Snorkel 范式中人工编写规则的成本,为弱监督系统的可扩展性提供了新路径。

2.2 人机协同标注流程

人机协同标注流程(Human-in-the-Loop, HITL)路线的兴起,源于 LLM 在主观任务中可靠性的不足。2017 年 Settles 等人系统综述的主动学习策略,确立了“模型选择-人类标注-模型更新”的迭代闭环,是后续所有 LLM 辅助主动学习的理论基础。然而,传统主动学习假设人类标注是静态金标准,这一假设在 LLM 时代被挑战。2025 年,Lin 等人提出的 ACT(Annotation with Critical Thinking)流水线引入了“批判性思维”机制,让多模态 LLM 在生成标签的同时输出错误概率估计,并据此动态分配人工审核资源。ACT 的核心取舍在于增加了 LLM 推理的复杂度,换取了从“全量人工审核”到“基于置信度的选择性审核”的转变,显著降低了人工成本。其成功依赖于批评者智能体的校准能力,若校准失败,高错误样本可能被遗漏,这是该路线的主要风险。

2026 年,Zeng 等人提出的 HyPAC(Cost-Efficient LLMs-Human Hybrid Annotation)框架进一步将人机协同推向理论严谨性。HyPAC 通过校准决策阈值,在满足用户指定错误率容忍度的前提下,最小化 LLM 与人类标注的总成本,并提供了 PAC 误差保证。与 ACT 的启发式阈值不同,HyPAC 放弃了算法实现的简单性,换取了严格的理论保证,证明了在混合标注源中实现成本最优与误差控制的可行性。其代价是算法实现复杂,且 PAC 保证依赖于数据分布的交换性假设,在严重非平稳数据中可能失效。Hakimi 等人(2026)在敌意检测任务中的对比实验进一步揭示了 LLM 标签与人类标签在主动学习中的不同动态效应,指出 LLM 标签可能引入特定的偏差模式,影响模型的泛化能力,强调了在安全关键应用中保留人类监督的必要性。

此外,Zupic(2026)提出的以人为中心的 LLM 内容分析工作流,将 LLM 视为通用文本处理机器,研究人员在设计、监督、验证每个阶段中保持主导权,解决了 LLM 使用中的黑盒问题。Markiewicz 等人(2026)则通过多轮标注实验,分析了标注者能力随时间的变化,揭示了标注者能力发展的非线性特征,为动态调整人机协作策略提供了依据。这些工作共同表明,人机协同不仅是技术流程的优化,更是标注者心理学与 NLP 的交叉领域,需动态监控标注者状态并适时引入 LLM 辅助以稳定标注质量。

2.3 多智能体标注框架

多智能体标注框架路线的兴起,源于单一 LLM 在复杂任务上的不稳定性。2024 年,Kholodna 等人提出的 Mixture-of-LLMs 策略通过集成多个不同 LLM 的输出并利用互标注者一致性评估标注质量,解决了单一 LLM 的随机误差问题。这一发现标志着从“单一模型”向“模型集成”的范式转移。2025 年,Hegazy 等人提出的 MAFA(Multi-Agent Framework for Annotation)将这一思路推向工业级应用,通过配置化的智能体协作(调度、标注、判断)及基于共识的裁决机制,解决了企业级大规模对话数据的标注积压问题。MAFA 的核心取舍在于系统架构复杂,智能体间的通信与协调开销较大,换取了标注流程的模块化与可配置性,支持金融等复杂领域的定制化需求。

2026 年,Ghosh 等人提出的 AURA(Agentic AI Label Curation)框架进一步简化了传统弱监督系统中复杂的标签模型训练过程。AURA 利用多个异构 AI 智能体作为独立标注者,通过估计每个智能体的可靠性并加权聚合其预测,无需微调即可从噪声标签中恢复真值。与 MAFA 的共识机制不同,AURA 更强调智能体可靠性的量化估计,放弃了共识的简单性,换取了对单一模型偏差的鲁棒性。其代价是可靠性估计在无金标准情况下存在偏差,且智能体间的同质性可能降低聚合效果。Qi 等人(2026)提出的 MoLLIA 框架则将混合 LLM 标注器集成到主动学习循环中,通过计算 LLM 标注与主动学习模型预测之间的差异来指导样本选择,展示了多 LLM 协作在提升主动学习效率方面的潜力。

此外,Li(2026)提出的 LinguistAgent 平台引入了“反思”与“检索增强生成(RAG)”机制,解决了 LLM 在复杂语义任务中缺乏深度推理与领域知识的问题。Ahtisham 等人(2025)则评估了 LLM 验证器在提升学习分析领域标注质量中的作用,证明了多智能体协作中“验证”环节对提升标注可靠性的关键作用。这些工作共同表明,多智能体框架不仅是技术架构的升级,更是对标注过程“生成-验证-修正”迭代逻辑的重构,为高风险、高专业领域提供了安全可靠的解决方案。

2.4 标注指南与提示工程

标注指南与提示工程路线的兴起,源于 LLM 对特定领域约定理解不足的问题。2025 年,Kim 等人提出的 Repurposing Annotation Guidelines 方法将面向人类的详细标注指南直接转化为 LLM 提示词,通过模拟人类审核流程,利用指南中的规则约束 LLM 的推理与决策。该方法的核心取舍在于提示词长度增加,可能导致上下文窗口压力,换取了对 LLM 领域知识不足的显式补偿,显著提升了复杂语义标注的准确性。其成功依赖于指南的清晰度,模糊指南会放大 LLM 的错误,这使得指南的质量成为标注性能的决定性因素。

2026 年,相关研究者提出的 Iterative Guideline Refinement 方法进一步实现了标注指南的自动化进化。该方法通过 LLM 标注开发集、对比金标准、分析差异模式并生成新的指导原则,循环迭代直至性能收敛。与静态指南注入不同,迭代优化放弃了指南的稳定性,换取了对 LLM 推理特性的动态适应,解决了静态指南难以适应 LLM 常见错误的问题。其代价是迭代过程耗时,且指南的过度细化可能导致过拟合开发集,降低泛化能力。Lee 等人(2026)提出的 Codebook-Injected Dialogue Segmentation 方法则通过注入结构化代码本与检索线索,提升了对话分析标注的准确性,展示了结构化知识注入在提升 LLM 对话理解能力方面的有效性。

Gandhi 和 Strubell(2026)提出的 Task Decomposition for Annotation 方法从任务设计理论角度切入,将复杂标注任务分解为原子子任务,通过降低单个提示的认知负荷,提升 LLM 标注的效率与一致性。该方法揭示了复杂任务中 LLM 性能下降的根源是认知负荷过高,为设计 LLM 友好的标注流程提供了理论指导。这些工作共同表明,提示工程不仅是技巧的优化,更是对标注任务认知结构的重新设计,强调了“化繁为简”在提升 LLM 标注性能中的关键作用。

2.5 LLM 标注质量评估

LLM 标注质量评估路线的兴起,源于对 LLM 作为测量工具可靠性的关注。2026 年,Xu 等人提出的 Error Decomposition Framework 将 LLM 标注误差解构为任务固有的系统性误差与模型或人类特定的随机误差,旨在区分不可消除的任务模糊性与可优化的执行偏差。其核心模块包括边界模糊性度量,专门用于捕捉序数标注任务中相邻类别边界处的误分类现象。该方法的取舍在于增加了误差分类的复杂性,换取了对误差来源的精细归因,使得评估结果更具诊断价值。其成功依赖于对任务本质的深入理解,对标注者或模型的设计者提出了更高要求。

Liu(2026)提出的 Inter-Prompt Reliability (IPR) 指标则将提示词稳定性作为 LLM 标注可靠性的核心测量指标。该方法通过构建语义不变但语言风格受控的提示词语料库,量化提示词措辞对模型输出的影响,揭示了 LLM 标注中常被忽视的“提示词噪声”来源。其代价是实验设计复杂,需严格控制变量以排除任务信息变化的干扰,且 IPR 指标本身不直接反映标注的正确性,需结合其他指标使用。Casanova 等人(2026)则深入探讨了 LLM 内部化先验知识对用户指令的干扰机制,揭示了 LLM 标注失败的一个深层原因:模型倾向于锚定“典型”示例而非遵循细微的领域定义。

Piot 等人(2025)聚焦于仇恨言论检测等主观性强的任务,评估了 LLM 在缺乏明确金标准时的标注可靠性,指出了 LLM 在处理文化语境、讽刺及隐含歧视时的系统性盲区。Goodall 等人(2026)构建了人类学民族志文本标注基准,揭示了 LLM 在复杂文化概念编码上的显著短板。Pramanik 等人(2026)提出的 MultiSoc-4D 基准则专门诊断闭源 LLM 在孟加拉语社交媒体标注中的“标签坍缩”现象,揭示了 LLM 在低资源语言及代码混合文本中的系统性偏差。这些工作共同表明,LLM 标注质量评估不仅是技术诊断,更是对 LLM 能力边界的清醒反思,强调了在高风险、高主观性领域保留人类专家审核的必要性。

2.6 标注偏差与统计校正

标注偏差与统计校正路线的兴起,源于 LLM 标注中的系统性偏差对下游统计推断的影响。2025 年,Nakamura 提出的 Surrogate Representation Inference (SRI) 框架结合人类标注与 LLM 预测,通过双重负控制(Double Negative Control)校正 LLM 预测中的偏差,实现高效的统计推断。该方法的核心取舍在于算法实现复杂,且双重负控制假设需严格满足,换取了在有限专家标注下获得无偏估计的能力,解决了 LLM 标注误差导致下游统计推断失效的问题。

2026 年,Amin 等人提出的 Perspective Taking Bias Decomposition 方法将 LLM 在主观视角标注中的偏差分解为表示偏差(Representation Bias)与处理偏差(Processing Bias),通过“宽镜头”与“清镜头”模型量化 LLM 对群体分布的覆盖度与判断保真度。该方法揭示了 LLM 在捕捉特定人口统计学群体视角时的系统性偏差来源,为设计去偏策略提供了理论依据。相关研究者(2025)提出的 Benchmarking Debiasing Methods 则基准测试了多种去偏方法在有限样本下校正 LLM 标注偏差的效果,提供了去偏方法在数据稀缺场景下的实证指导。

Ma 和 Zhang(2026)提出的 AnchorScore 工具利用冻结的 CLIP 模型零样本准确率作为探针,预测 MLLM 在特定类别上的标注可靠性,提供了一种低成本、无需训练的偏差预警机制。Coyne(2026)则从哲学与伦理角度提出 RLHF 标注的三种概念模型,揭示了标注实践中的隐含假设与权力动态。这些工作共同表明,标注偏差与统计校正不仅是技术校正,更是对 LLM 数据可信度的治理,强调了在标注中明确责任归属与统计保障的重要性。

2.7 跨任务与多领域应用

上述方法路线在不同领域任务中展现出不同的适用性。在生物医学 NER 任务中,Repurposing Annotation Guidelines(Kim et al., 2025)和 Iterative Guideline Refinement(2026)通过指南注入与迭代优化,显著提升了 LLM 对专业术语的识别能力。在临床 NER 任务中,Herd of LLMs(2026)通过多模型集成与一致性验证,减少了 LLM 幻觉导致的错误实体。在材料科学实体识别中,ALLabel(Chen et al., 2025)结合主动学习与演示检索,在 CSD-MOFs 和 USPTO 数据集上取得了优异性能。

在主观任务评估中,LLM Reliability Framework(Piot et al., 2025)在仇恨言论检测中展示了高一致性,但同时也揭示了 LLM 在文化语境理解上的局限。在民族志标注中,Ethnographic Annotation Benchmark(Goodall et al., 2026)证明了 LLM 在需要深厚文化背景知识的任务中仍远未达到人类专家水平。在图像标签任务中,TagLLM(Xie et al., 2026)在 COCO 2014 数据集上取得了 95.0% 的 mAP,展示了多模态 LLM 在视觉标注中的潜力。这些跨领域应用表明,LLM 标注的有效性高度依赖于任务的主观性、领域知识的深度以及数据分布的均衡性,单一方法难以通吃所有场景。

3. 关键共识、分歧与开放问题

3.1 领域共识

领域在 LLM 标注的客观任务优势与主观任务局限上形成了广泛共识。LLM 在客观、结构化任务(如 NER、实体匹配)上的标注质量可媲美甚至超越众包工人,且成本显著降低,这一结论在多个基准上被反复验证:ALLabel 在 CSD-MOFs 上的 0.85 F1 与 TagLLM 在 COCO 2014 上的 95.0% mAP 均大幅超越传统基线(支撑证据:P1, P16)。然而,在主观、语境依赖或专业领域任务中,LLM 的标注可靠性低于人类专家,且人类标注者间的一致性(IAA)越低,LLM 表现越差。Ethnographic Texts 基准中 LLM 的 0.41 F1 与人类专家持平,而 Hate Speech Detection 中 LLM 的高一致性可能源于任务结构化特征,而非文化语境理解(支撑证据:P8, P11)。

与此相关的另一个共识是,单纯依赖 LLM 零样本标注不足以构建高质量数据集,必须引入人在回路(HITL)或多模型集成机制以控制错误率。HyPAC 的 PAC 误差保证与 ACT 的置信度阈值策略均强调了人类介入的必要性,而 AHEAD 与 AURA 的多智能体聚合则通过共识机制平滑了单一模型的随机误差(支撑证据:P13, P7, P28, P14)。此外,提示词设计和标注指南的质量对 LLM 标注性能有决定性影响,提供详细指南和迭代优化能显著提升一致性,Iterative Guideline Refinement 在 NCBI Disease Corpus 上的 0.62 F1 较静态指南的 0.58 有显著提升(支撑证据:P30, P4)。标注过程应被视为测量过程而非纯自动化活动,需关注校准、漂移和信度等测量学指标,Error Decomposition 与 IPR 指标的出现标志着这一范式转变(支撑证据:P9, P21)。

3.2 观点分歧

领域在 LLM 标注偏差的性质上存在深层分歧:偏差是系统性可校正还是随机性不可消除?观点 A 认为偏差主要是系统性的(如先验、提示词敏感),可通过去偏、统计校正或提示工程消除,代表工作包括 SRI 与 Debiasing(支撑证据:P2, P33)。观点 B 认为偏差包含大量随机性与任务固有模糊性,难以完全校正,需通过多源聚合或人类介入缓解,代表工作包括 AHEAD 与 Error Decomposition(支撑证据:P28, P9)。现有证据偏向观点 A 在客观任务上有效,但在主观任务上偏向观点 B。实验显示,去偏方法在有限样本下能显著降低偏差,但在高歧义任务中效果有限。能定输赢的实验是:在控制提示词与模型版本后,比较校正前后 LLM 与人类专家在主观任务上的 IAA 差异,若校正后 IAA 显著提升且稳定,则支持 A;若波动大,则支持 B。分歧根源在于主观任务中“真值”定义模糊,缺乏金标准,且 LLM 内部机制黑盒,难以完全解耦先验与指令遵循。

这一分歧的背后,是另一个更根本的争论:人机协同的最优策略是置信度阈值还是主动学习/差异驱动?观点 A 认为基于 LLM 置信度/不确定性的阈值筛选是高效且可解释的,代表工作包括 ACT 与 HyPAC(支撑证据:P7, P13)。观点 B 认为基于主动学习或 LLM-模型差异的策略能更精准地选择高价值样本,提升数据效率,代表工作包括 MoLLIA 与 Human-LLM Active Learning(支撑证据:P12, P20)。证据偏向观点 B 在低预算下更优,但观点 A 在工业部署中更简单可靠。实验显示,差异驱动策略在同等预算下 F1 更高,但置信度阈值策略在成本预测上更稳定。能定输赢的实验是:在相同预算约束下,比较两种策略在下游任务上的性能-成本曲线,若差异驱动策略的帕累托前沿显著优于阈值策略,则支持 B。分歧根源在于置信度校准本身不稳定,且主动学习策略依赖模型初始状态,场景依赖性强。

3.3 其他开放问题

当前领域面临的最紧迫工程问题是标准化 LLM 标注方法论的缺失。现有实践碎片化,可靠性报告不一致,缺乏统一的评估标准。路径包括建立类似 OLAF 的结构化测量流程,通过透明配置报告和可复现聚合方法提升结果的可解释性。最根本的研究问题是 LLM 内部先验与任务定义的解耦。模型内部化概念与任务定义不匹配,导致标注性能波动,难点在于解耦记忆效应与概念对齐,路径包括 Definition-Specific Familiarity (DSF) 分析和去偏方法。此外,主观任务中歧义的统计推断仍是开放问题,传统方法假设存在单一“真实标签”,但主观任务中歧义是固有的,缺乏有效的统计框架来量化这种歧义并修正下游统计推断中的偏差,路径包括模糊性量化指标与软标签分布建模。

归纳“已知—争议—未知”认知图谱:已知 LLM 在客观任务上高效,需人机协同;争议偏差性质与协同策略;未知先验解耦与歧义统计推断。发展趋势是从“使用 LLM”转向“治理 LLM”,建立标准化的测量与校正范式,构建具有理论保证的人机协同框架,以最小化成本实现统计上无偏且可复现的高质量标签生成。

4. 总结与展望

数据标注正经历从“人力密集型”向“算法-人力混合密集型”的结构性转变,核心矛盾在于 LLM 的高效率与其作为测量工具的低稳定性之间的冲突。早期研究通过统计聚合解决众包噪声,但 LLM 的引入揭示了先验偏差与提示词敏感性的新挑战。当前领域已尝试了评估诊断、协同流程、多智能体聚合、指南工程、噪声处理与偏差校正等多条路线,但核心瓶颈仍在于如何在动态、非平稳的数据分布下,量化并校正 LLM 的系统性偏差,实现统计上无偏且成本可控的标注。这一瓶颈回扣了领域核心问题:如何在承认 LLM 标注存在系统性偏差与提示词敏感性的前提下,构建具有理论保证的人机协同框架,以最小化成本实现统计上无偏且可复现的高质量标签生成。

未来可能突破的方向包括:开发标准化的 LLM 标注方法论框架,解决当前实践碎片化问题,通过透明配置报告和可复现聚合方法提升结果的可解释性(P9, P21);探索 LLM 与人类标注者的混合协作机制,优化成本-质量权衡,解决单一来源标注的偏差与成本问题,路径包括 HyPAC 的 PAC 保证和 MAFA 的多智能体编排(P13, P5);研究提示工程对标注稳定性的影响,解决语义等价提示导致输出不一致的问题,路径包括 Inter-Prompt Reliability (IPR) 测量和提示作为测量仪器的范式转变(P21)。对进入者最值得做的一件事是:在统一骨干与统一预训练条件下,构建一个涵盖客观与主观任务的标准化评测基准,并引入计算效率维度,以隔离方法贡献并评估混合标注框架的经济性,为领域提供可复现的测量学基础。

以上为节选,完整内容见ArxivReview

來源:阿里雲開發者社區 AI · developer.aliyun.com