Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers
研究發現,混合文字、圖片及文字圖片融合文件的檢索表現會受模態組成影響,無關文字造成的性能下降比同等數量的無關圖片更嚴重。檢索器對文字表示有模態偏好,可能令無關文字的相似度高於相關圖片。研究提出 Trident,以 Multi-Positive View InfoNCE 聯合優化相關性判別與正樣本視圖平衡,提升 CLIP-based 和 VLM-based 架構的混合模態檢索表現。