跳到正文
Hugging Face Blog·· 2025-02-21精選AI 評分63

Google 發佈 SigLIP 2 多語言視覺語言編碼器系列

SigLIP 2: A better multilingual vision language encoder

AI 導讀

Google 發佈 SigLIP 2 多語言視覺語言編碼器系列,加入新的訓練目標以提升語義理解、定位及密集特徵表現。訓練加入圖像描述與區域定位解碼器、自蒸餾的 Global-Local Loss 和 Masked Prediction Loss,並提供動態解析度 naflex 版本。

推薦理由

SigLIP 2 把解碼器監督、自蒸餾與遮罩預測納入訓練,並提供動態解析度版本,展示提升局部語義表徵與適應不同長寬比的訓練思路。

正文 · 繁體中文

重點摘要

今天,Google 推出全新、表現更佳的多語言視覺語言編碼器 SigLIP 2。作者在 SigLIP(sigmoid loss)的訓練目標上加入其他目標,提升語義理解、定位能力和密集特徵。

Objectives added
新增訓練目標(來源:https://huggingface.co/papers/2502.14786)

在各種核心能力上,SigLIP 2 模型表現勝過舊版 SigLIP;這項優勢涵蓋所有模型規模,包括零樣本分類、圖像文本檢索,以及為視覺語言模型(VLM)抽取視覺表徵時的遷移效能。

另外還有動態解析度(naflex)變體,對長寬比和解析度敏感的下游任務尤其有用。

以下列出所有已發布模型:

尺寸 Patch 尺寸 解析度 Transformers JAX
Base(86M) 32 256 google/siglip2-base-patch32-256 google/siglip2-base-patch32-256-jax
16 224 google/siglip2-base-patch16-224 google/siglip2-base-patch16-224-jax
256 google/siglip2-base-patch16-256 google/siglip2-base-patch16-256-jax
384 google/siglip2-base-patch16-384 google/siglip2-base-patch16-384-jax
512 google/siglip2-base-patch16-512 google/siglip2-base-patch16-512-jax
- - google/siglip2-base-patch16-naflex google/siglip2-base-patch16-naflex-jax
Large(303M) 16 256 google/siglip2-large-patch16-256 google/siglip2-large-patch16-256-jax
384 google/siglip2-large-patch16-384 google/siglip2-large-patch16-384-jax
512 google/siglip2-large-patch16-512 google/siglip2-large-patch16-512-jax
Shape Optimized 400M 14 224 google/siglip2-so400m-patch14-224 google/siglip2-so400m-patch14-224-jax
384 google/siglip2-so400m-patch14-384 google/siglip2-so400m-patch14-384-jax
16 256 google/siglip2-so400m-patch16-256 google/siglip2-so400m-patch16-256-jax
384 google/siglip2-so400m-patch16-384 google/siglip2-so400m-patch16-384-jax
512 google/siglip2-so400m-patch16-512 google/siglip2-so400m-patch16-512
- - google/siglip2-so400m-patch16-naflex google/siglip2-so400m-patch16-naflex-jax
Giant(1B) 16 256 google/siglip2-giant-opt-patch16-256 google/siglip2-giant-opt-patch16-256-jax
384 google/siglip2-giant-opt-patch16-384 google/siglip2-giant-opt-patch16-384-jax

引言

視覺編碼器很簡單:接收圖像並將其編碼成一種表徵,再用於分類、物件偵測、圖像分割及其他視覺下游任務。研究人員一直致力尋找密集、具局部感知能力且語義豐富的視覺表徵。

CLIP 和 ALIGN 是最早透過聯合訓練對齊圖像編碼器和文本編碼器的例子,開創了訓練視覺模型的新方法。SigLIP 更進一步,以 sigmoid loss 取代 CLIP 的對比損失,打造更出色的編碼器。

重點是甚麼?採用更聰明的訓練目標後,我們能持續建立結構更完善、細緻度更高、能力更強的視覺編碼器。SigLIP 2 正是如此:在 SigLIP 的訓練目標上應用一系列有趣而巧妙的新目標,打造更優秀、更強大的視覺語言編碼器。

本文會嘗試一種新寫法。我們不會直接列出更新內容和位置,而是和你一起完成一個小練習:先從 SigLIP 開始,再逐步提出問題(以 🤔 標示)和解答(以新標題標示),介紹 SigLIP 2 的所有更新。聽起來不錯吧?

我們會先從視覺編碼器開始,設定 patch 尺寸為 16,圖像解析度為 256。訓練時先從以下四種變體開始:

  1. siglip2-base-patch16-256
  2. siglip2-large-patch16-256
  3. siglip2-so400m-patch16-256
  4. siglip2-giant-opt-patch16-256

🤔 問題 1:有甚麼計算成本較低的輔助訓練目標,可以改善視覺表徵(位置感知和局部感)?

加入解碼器(就是這麼簡單)

加入解碼器後,現在我們有圖像編碼器、文本編碼器和文本解碼器。文本解碼器會負責三項目標:

  1. 預測整體圖像説明
  2. 根據描述圖像特定區域的文字,預測邊界框座標
  3. 根據邊界框座標預測區域專用説明

解碼器為視覺編碼器提供額外訊號,讓它具備位置感知能力。這是 SigLIP 2 訓練方法的首項改進。

🤔 問題 2:如何改善圖像表徵細緻、局部的語義?

以全域-局部損失和遮罩預測進行自我蒸餾

為改善圖像表徵的細緻局部語義,我們引入兩項關鍵訓練目標:全域-局部損失和遮罩預測損失。受自我監督學習研究啟發,我們採用自我蒸餾,讓同一模型既作為教師,也作為學生。每次迭代時,教師模型會採用學生模型參數的移動平均值。

  1. 全域-局部損失:學生網絡會取得訓練圖像的局部視圖,並學習匹配教師模型根據完整圖像得出的表徵。
  2. 遮罩預測損失:學生網絡中 50% 的嵌入圖像 patch 會以遮罩 token 隱藏。學生模型需要匹配教師模型在遮罩位置的特徵。

這些目標教導視覺編碼器掌握空間關係,並改善局部語義。作者只在以 sigmoid 損失和解碼器損失完成80%訓練後才加入這項損失,以節省運算資源(額外損失的成本相當高),並避免對編碼器造成負面影響。

🤔 問題 3:如何讓模型適應不同解析度?

適應不同解析度

圖像模型很容易受不同解析度和長寬比影響,這是眾所周知的事實。我們可利用兩種截然不同的方法,讓模型適應不同解析度和 patch 尺寸。

  1. 固定解析度變體:從完成 95% 訓練的檢查點開始,調整位置嵌入和 patch 嵌入,再針對所需解析度(可能更大)繼續訓練。
  2. 動態解析度變體:受 FlexiViT 啟發(接受不同序列長度的輸入),並參考 NaViT(保留原生長寬比),我們可以建立 NaFlex 變體。這很有用,因為單一模型就能同時用於 OCR(盡量減少長寬比變形)和文件理解(提供合適解析度)。

名稱帶有 -naflex 後綴的模型就是動態解析度變體。固定解析度模型可直接使用現有的 SiglipModel 類別;若要處理這些變體,則可使用 Siglip2Model 來支援 naflex。透過 pipeline API 使用時,我們會自動處理!

以上介紹了 SigLIP 演進至 SigLIP 2 的過程。接下來幾節會探討 SigLIP 2 的應用。

使用 transformers 執行推論

這些模型的推論方式相當簡單。你可以複製下方程式碼,在免費 Colab 筆記本中執行推論 🚀

要執行 SigLIP 2 推論,請安裝 transformers 的 main 分支或以下穩定分支: pip install git+https://github.com/huggingface/transformers@v4.49.0-SigLIP-2

零樣本分類

這裡會使用方便的 pipeline API,示範 SigLIP 2 的零樣本分類能力。

from transformers import pipeline

ckpt = "google/siglip2-so400m-patch14-384"
pipe = pipeline(model=ckpt, task="zero-shot-image-classification")

inputs = {
    "images": [
        "https://huggingface.co/datasets/merve/coco/resolve/main/val2017/000000000285.jpg", # bear
        "https://huggingface.co/datasets/merve/coco/resolve/main/val2017/000000000776.jpg", # teddy bear
    ],
    "texts": [
        "bear looking into the camera",
        "bear looking away from the camera",
        "a bunch of teddy bears",
        "two teddy bears",
        "three teddy bears"
    ],
}

outputs = pipe(inputs["images"], candidate_labels=inputs["texts"])

一起看看輸出效果。

output of zero shot classification
零樣本分類分數視覺化

為下游任務編碼圖像

你也可以使用以下方式編碼圖像:

import torch
from transformers import AutoModel, AutoProcessor
from transformers.image_utils import load_image

ckpt = "google/siglip2-so400m-patch14-384"
model = AutoModel.from_pretrained(ckpt, device_map="auto").eval()
processor = AutoProcessor.from_pretrained(ckpt)

image = load_image("https://huggingface.co/datasets/merve/coco/resolve/main/val2017/000000000285.jpg")
inputs = processor(images=[image], return_tensors="pt").to(model.device)

with torch.no_grad():
    image_embeddings = model.get_image_features(**inputs)    

print(image_embeddings.shape) # torch.Size([1, 1152])

比較 SigLIP 1 和 SigLIP 2

查看所有已發布的 SigLIP 2 模型後,可發現與 SigLIP 相比有兩項主要改變:

  1. SigLIP 2 新增支援動態解析度的 naflex 變體。
  2. SigLIP 2 新增 giant(1B)系列。

SigLIP 2 評估表格顯示它的表現優於 SigLIP。

evaluation table
SigLIP 2 評估分數(來源:https://huggingface.co/papers/2502.14786)

以下示範 SigLIP 1 和 SigLIP 2 的零樣本分類結果比較。

在 VLM 中使用編碼器

對齊文本資訊的視覺編碼器在開發視覺語言模型(VLM)時愈來愈重要。建立 VLM 的常見方法,是把預訓練視覺編碼器和預訓練 LLM 結合,再以涵蓋多種視覺語言任務的多模態數據共同訓練。

PaliGemma 是善用 SigLIP 系列視覺編碼器的代表性 VLM。你可在這篇 PaliGemma 網誌深入瞭解其能力。在此基礎上,近期推出的 PaliGemma 2 結合進階 Gemma 2 LLM,進一步提升模型能力。若在類似 PaliGemma 的設定中以 SigLIP 2 取代 SigLIP,看看模型表現如何,應該會很有趣。

鳴謝

感謝 Michael Tschannen(SigLIP 2 第一作者)、Vaibhav Srivastav 和 Sayak Paul 為本文提出意見。亦特別感謝 Google 團隊發布這個出色、開放的模型系列。

排名不分先後,我們感謝 Pavel、Ross、Pablo、Pedro、Lysandre,以及 Hugging Face 團隊其他成員在此項目中給予的大力支持和貢獻。

來源:Hugging Face Blog · huggingface.co