PaliGemma:Google 的前沿開源視覺語言模型
PaliGemma – Google's Cutting-Edge Open Vision Language Model
Google 發佈 PaliGemma,一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器,提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型,不適用於對話;Mix 檢查點適合以自由文字提示進行通用推理,但僅供研究用途。
文章整理 PT、Mix、FT 檢查點的用途,並指出高解像度會增加記憶體需求、多數任務的質素提升有限,有助按任務需要選擇模型。
更新日期:23-05-2024:我們調整了 transformers 的 PaliGemma 實作和微調流程,詳情請參閲這份筆記本。
PaliGemma 是 Google 推出的全新視覺語言模型系列。模型可以接收影像和文字,並輸出文字。
Google 團隊發布了三種模型:預訓練(pt)模型、mix 模型,以及微調(ft)模型。每種模型的解像度各有不同,亦提供多種精度版本,方便使用。
所有模型均已上載至 Hugging Face Hub 的模型儲存庫,附有模型卡和授權條款,並整合至 transformers。
甚麼是 PaliGemma?
PaliGemma(Github)是視覺語言模型系列,架構由作為影像編碼器的 SigLIP-So400m 和作為文字解碼器的 Gemma-2B 組成。SigLIP 是能同時理解影像和文字的頂尖模型。與 CLIP 一樣,它由共同訓練的影像編碼器和文字編碼器組成。與 PaLI-3 類似,組合而成的 PaliGemma 模型會先以影像-文字資料預訓練,然後便可輕鬆微調,以執行字幕生成或指代表達分割等下游任務。Gemma 是用於生成文字的僅解碼器模型。把 SigLIP 影像編碼器透過線性適配器與 Gemma 結合,便能打造強大的視覺語言模型 PaliGemma。
PaliGemma 發布時提供三種模型:
- PT 檢查點:可微調以執行下游任務的預訓練模型。
- Mix 檢查點:在多種任務上微調的 PT 模型,適合以自由文字提示進行通用推理,但只可用於研究。
- FT 檢查點:一組已微調模型,各自專門對應不同學術基準。這些模型提供多種解像度,只限研究用途。
模型提供三種不同解像度(224x224、448x448、896x896)和三種不同精度(bfloat16、float16 和 float32)。每個儲存庫均包含指定解像度和任務的檢查點,並為每種可用精度提供三個版本。每個儲存庫的 main 分支包含 float32 檢查點,而 bfloat16 和 float16 版本則包含相應精度的檢查點。另有專為 🤗 transformers 和原始 JAX 實作提供的模型儲存庫。
如後文詳述,高解像度模型需要更多記憶體,因為輸入序列長得多。這些模型可能有助 OCR 等細緻任務,但大部分任務的品質提升都很小。大多數用途使用 224 版本已完全足夠。
你可在這個集合找到所有模型和 Spaces。
模型能力
PaliGemma 是單輪視覺語言模型,並非為對話用途而設;針對特定用途微調時表現最佳。
你可以使用「detect」或「segment」等任務前綴設定模型要執行的任務。預訓練模型以這種方式訓練,讓它具備豐富能力,包括問答、字幕生成和分割等。不過,模型並非設計成可直接使用,而是應透過微調,並使用類似的提示結構遷移至特定任務。要互動式測試,可使用經多種任務微調的「mix」系列模型。
以下示例會使用 mix 檢查點展示部分能力。
影像字幕生成
向 PaliGemma 提示後,模型便可為影像生成字幕。你可以使用 mix 檢查點嘗試不同的字幕提示,看看模型如何回應。
視覺問答
只需連同影像傳入問題,PaliGemma 便可回答與影像相關的問題。
偵測
PaliGemma 可使用 detect [entity] 提示偵測影像中的實體。模型會以特殊的 <loc[value]> token 輸出邊界框座標的位置,其中 value 是代表正規化座標的數值。每次偵測會依序輸出四個位置座標 y_min、x_min、y_max、x_max,後面接着該邊界框內偵測到的標籤。要把數值轉成座標,先將數值除以 1024,再把 y 乘以影像高度,把 x 乘以影像寬度,即可得到相對於原始影像大小的邊界框座標。
指代表達分割
PaliGemma mix 檢查點亦可在收到 segment [entity] 提示時分割影像中的實體。這稱為指代表達分割,因為我們會以自然語言描述感興趣的實體。輸出是一連串位置和分割 token。位置 token 表示上文所述的邊界框;分割 token 則可進一步處理以生成分割遮罩。
文件理解
PaliGemma mix 檢查點具備出色的文件理解和推理能力。
Mix 基準測試
以下列出 mix 檢查點的分數。
| 模型 | MMVP 準確度 | POPE 準確度(隨機/熱門/對抗) |
|---|---|---|
| mix-224 | 46.00 | 88.00 86.63 85.67 |
| mix-448 | 45.33 | 89.37 88.40 87.47 |
微調檢查點
除了預訓練和 mix 模型,Google 亦發布了已遷移至不同任務的模型。這些模型對應學術基準,研究社羣可用來比較模型表現。以下列出部分例子。這些模型亦提供不同解像度。想查看所有指標,可查閲各模型的模型卡。
| 模型名稱 | 資料集/任務 | 遷移任務分數 |
|---|---|---|
| paligemma-3b-ft-vqav2-448 | 圖表理解 | VQAV2 準確度 85.64 |
| paligemma-3b-ft-cococap-448 | COCO 字幕 | CIDEr 144.6 |
| paligemma-3b-ft-science-qa-448 | 科學問答 | ScienceQA Img 子集準確度 95.93,無 CoT |
| paligemma-3b-ft-refcoco-seg-896 | 理解影像中對特定物件的指稱 | refcoco 平均 IoU 76.94;refcoco+ 平均 IoU 72.18;refcocog 平均 IoU 72.22 |
| paligemma-3b-ft-rsvqa-hr-224 | 遙感視覺問答 | 測試集準確度 92.61;test2 準確度 90.58 |
示範
作為此次發布的一部分,我們推出了示範,把參考實作包裝在 big_vision 儲存庫中,讓你輕鬆試用 mix 模型。
我們亦提供相容 Transformers 的示範版本,展示如何使用 PaliGemma transformers API。
如何執行推理
要存取 PaliGemma 模型,必須接受 Gemma 授權條款。如果你已能使用 Hugging Face 上其他 Gemma 模型,便可直接開始。否則,請前往任一 PaliGemma 模型頁面,並在同意授權條款後接受條款。取得存取權後,必須透過 notebook_login 或 huggingface-cli login 驗證身分。登入後即可開始使用!
你亦可立即在這份筆記本試用推理。
使用 Transformers
你可以使用 PaliGemmaForConditionalGeneration 類別,對已發布的任何模型進行推理。只需使用內置處理器預處理提示和影像,再傳入預處理後的輸入以生成內容。
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
model_id = "google/paligemma-3b-mix-224"
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)
prompt = "What is on the flower?"
image_file = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg?download=true"
raw_image = Image.open(requests.get(image_file, stream=True).raw)
inputs = processor(prompt, raw_image, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=20)
print(processor.decode(output[0], skip_special_tokens=True)[len(prompt):])
# bee
你亦可按以下方法以 4-bit 載入模型。
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
model = PaliGemmaForConditionalGeneration.from_pretrained(
model_id,
quantization_config=bnb_config,
device_map={"":0}
)
除了 4-bit(或 8-bit)載入,transformers 整合亦讓你運用 Hugging Face 生態系統中的其他工具,例如:
- 訓練和推理程式碼及示例
- 序列化為安全檔案(safetensors)
- 與 PEFT(參數高效微調)等工具整合
- 使用工具和輔助程式執行模型生成
詳細推理流程
如果你想自行編寫預處理或訓練程式碼,或想深入瞭解 PaliGemma 的運作方式,以下是輸入影像和文字會經過的步驟。
輸入文字會照常進行 token 化。開頭會加入 <bos> token,並在結尾附加換行 token(\n)。模型訓練時使用的輸入提示必須包含這個換行 token,因此明確加入可確保它必定存在。經 token 化的文字前面亦會加上固定數量的 <image> token。數量取決於輸入影像解像度,以及 SigLIP 模型使用的 patch 大小。PaliGemma 模型以三種正方形尺寸之一預訓練(224x224、448x448 或 896x896),並一律使用 14 的 patch 大小。因此,224 模型前面須加上 256 個 <image> token(224/14 * 224/14)、448 模型加上 1024 個,896 模型則加上 4096 個。
請注意,影像越大,輸入序列就越長,因此模型的語言處理部分需要更多記憶體。選擇模型時請記住這點。對 OCR 等細緻任務而言,較大的影像可能有助提升結果,但絕大多數任務的品質增幅都很小。決定改用更高解像度前,請先用自己的任務進行測試!
整個「提示」會經過語言模型的文字嵌入層,為每個 token 產生 2048 維 token 嵌入。
與此同時,輸入影像會以雙三次重採樣調整至所需尺寸(最低解像度模型為 224x224),然後交由 SigLIP 影像編碼器為每個 patch 產生 1152 維影像嵌入。接着,線性投影器會把影像嵌入投影為每個 patch 2048 維的表示,與文字 token 的維度相同。最終影像嵌入會與 <image> 文字嵌入合併,作為自迴歸文字生成的最終輸入。生成流程會正常以自迴歸模式運作:完整輸入(image + bos + prompt + \n)使用完整區塊注意力,而生成文字則使用因果注意力遮罩。
處理器和模型類別會自動處理上述細節,因此可以使用與前文示例相同、熟悉的高階 transformers API 執行推理。
微調
使用 big_vision
PaliGemma 使用 big_vision 程式碼庫訓練。這個程式碼庫亦曾用來開發 BiT、原始 ViT、LiT、CapPa、SigLIP 等模型。
專案設定資料夾 configs/proj/paligemma/ 中有一份 README.md。你可以執行 transfers/ 子資料夾中的設定檔,把預訓練模型遷移至新任務;我們所有遷移結果都透過執行當中的設定取得。如果想遷移自己的模型,可 fork 範例設定檔 transfers/forkme.py,並按照註解中的指示按用途調整。
另外亦有一份 Colab finetune_paligemma.ipynb,可在免費 T4 GPU 執行環境進行簡化微調。為符合有限的主機和 GPU 記憶體,Colab 程式碼只會更新注意力層的權重(170M 個參數),並使用 SGD(而非 Adam)。
使用 transformers
感謝 transformers,微調 PaliGemma 非常簡單。你亦可進行 QLoRA 或 LoRA 微調。在此示例中,我們會簡單微調解碼器,再示範如何改用 QLoRA 微調。 我們會安裝最新版 transformers 函式庫。
pip install transformers
與推理章節一樣,我們會使用 notebook_login() 驗證身分並存取模型。
from huggingface_hub import notebook_login
notebook_login()
此示例會使用 VQAv2 資料集,微調模型以回答影像相關問題。先載入資料集。我們只會使用 question、multiple_choice_answer 和 image 欄位,因此也會移除其他欄位,並把資料集分割。
from datasets import load_dataset
ds = load_dataset('HuggingFaceM4/VQAv2', split="train")
cols_remove = ["question_type", "answers", "answer_type", "image_id", "question_id"]
ds = ds.remove_columns(cols_remove)
ds = ds.train_test_split(test_size=0.1)
train_ds = ds["train"]
val_ds = ds["test"]
接着載入處理器,當中包含影像處理和 token 化功能,再預處理資料集。
from transformers import PaliGemmaProcessor
model_id = "google/paligemma-3b-pt-224"
processor = PaliGemmaProcessor.from_pretrained(model_id)
我們會建立提示範本,引導 PaliGemma 回答視覺問題。由於 tokenizer 會在輸入中加入填充,我們要把標籤中的填充位置設為不同於 tokenizer 填充 token 和影像 token 的值。
import torch
device = "cuda"
image_token = processor.tokenizer.convert_tokens_to_ids("<image>")
def collate_fn(examples):
texts = ["answer " + example["question"] for example in examples]
labels= [example['multiple_choice_answer'] for example in examples]
images = [example["image"].convert("RGB") for example in examples]
tokens = processor(text=texts, images=images, suffix=labels,
return_tensors="pt", padding="longest")
tokens = tokens.to(torch.bfloat16).to(device)
return tokens
你可以直接載入模型,或以 4-bit 模式載入以進行 QLoRA。以下示範直接載入模型。我們會載入模型,凍結影像編碼器和投影器,並只微調解碼器。如果影像屬於模型預訓練資料集可能未涵蓋的特定領域,你或許不應凍結影像編碼器。
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16).to(device)
for param in model.vision_tower.parameters():
param.requires_grad = False
for param in model.multi_modal_projector.parameters():
param.requires_grad = True
如果想以 4-bit 載入模型進行 QLoRA,可在下文加入以下變更。
from transformers import BitsAndBytesConfig
from peft import get_peft_model, LoraConfig
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_type=torch.bfloat16
)
lora_config = LoraConfig(
r=8,
target_modules=["q_proj", "o_proj", "k_proj", "v_proj", "gate_proj", "up_proj", "down_proj"],
task_type="CAUSAL_LM",
)
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
#trainable params: 11,298,816 || all params: 2,934,634,224 || trainable%: 0.38501616002417344
現在初始化 Trainer 和 TrainingArguments。若要進行 QLoRA 微調,請改用 paged_adamw_8bit 作為 optimizer。
from transformers import TrainingArguments
args=TrainingArguments(
num_train_epochs=2,
remove_unused_columns=False,
per_device_train_batch_size=16,
gradient_accumulation_steps=4,
warmup_steps=2,
learning_rate=2e-5,
weight_decay=1e-6,
adam_beta2=0.999,
logging_steps=100,
optim="adamw_hf",
save_strategy="steps",
save_steps=1000,
push_to_hub=True,
save_total_limit=1,
bf16=True,
report_to=["tensorboard"],
dataloader_pin_memory=False
)
初始化 Trainer,傳入資料集、資料整理函式和訓練參數,再呼叫 train() 開始訓練。
trainer = Trainer(
model=model,
train_dataset=train_ds,
eval_dataset=val_ds,
data_collator=collate_fn,
args=args
)
trainer.train()
其他資源
- 視覺語言模型説明
- 模型文件
- 推理筆記本
- Big vision PaliGemma 示範
- 🤗 transformers PaliGemma 示範
- 所有 PaliGemma 模型的集合
- 所有 PaliGemma 微調模型的集合
- 原始實作
我們感謝 Omar Sanseviero、Lucas Beyer、Xiaohua Zhai 和 Matthias Minderer 詳細審閲本文,亦感謝 Peter Robicheaux 協助調整 transformers 微調功能。
來源:Hugging Face Blog · huggingface.co





