跳到正文
Hugging Face Blog·· 2024-05-14精選AI 評分71

PaliGemma:Google 的前沿開源視覺語言模型

PaliGemma – Google's Cutting-Edge Open Vision Language Model

AI 導讀

Google 發佈 PaliGemma,一系列可接收圖像與文字並輸出文字的開源視覺語言模型。模型結合 SigLIP-So400m 圖像編碼器與 Gemma-2B 文字解碼器,提供 PT、Mix、FT 三類檢查點及 224x224、448x448、896x896 三種解像度。PaliGemma 是單輪模型,不適用於對話;Mix 檢查點適合以自由文字提示進行通用推理,但僅供研究用途。

推薦理由

文章整理 PT、Mix、FT 檢查點的用途,並指出高解像度會增加記憶體需求、多數任務的質素提升有限,有助按任務需要選擇模型。

正文 · 繁體中文

更新日期:23-05-2024:我們調整了 transformers 的 PaliGemma 實作和微調流程,詳情請參閲這份筆記本。

PaliGemma 是 Google 推出的全新視覺語言模型系列。模型可以接收影像和文字,並輸出文字。

Google 團隊發布了三種模型:預訓練(pt)模型、mix 模型,以及微調(ft)模型。每種模型的解像度各有不同,亦提供多種精度版本,方便使用。

所有模型均已上載至 Hugging Face Hub 的模型儲存庫,附有模型卡和授權條款,並整合至 transformers。

甚麼是 PaliGemma?

PaliGemma(Github)是視覺語言模型系列,架構由作為影像編碼器的 SigLIP-So400m 和作為文字解碼器的 Gemma-2B 組成。SigLIP 是能同時理解影像和文字的頂尖模型。與 CLIP 一樣,它由共同訓練的影像編碼器和文字編碼器組成。與 PaLI-3 類似,組合而成的 PaliGemma 模型會先以影像-文字資料預訓練,然後便可輕鬆微調,以執行字幕生成或指代表達分割等下游任務。Gemma 是用於生成文字的僅解碼器模型。把 SigLIP 影像編碼器透過線性適配器與 Gemma 結合,便能打造強大的視覺語言模型 PaliGemma。

Architecture

PaliGemma 發布時提供三種模型:

  • PT 檢查點:可微調以執行下游任務的預訓練模型。
  • Mix 檢查點:在多種任務上微調的 PT 模型,適合以自由文字提示進行通用推理,但只可用於研究。
  • FT 檢查點:一組已微調模型,各自專門對應不同學術基準。這些模型提供多種解像度,只限研究用途。

模型提供三種不同解像度(224x224、448x448、896x896)和三種不同精度(bfloat16、float16 和 float32)。每個儲存庫均包含指定解像度和任務的檢查點,並為每種可用精度提供三個版本。每個儲存庫的 main 分支包含 float32 檢查點,而 bfloat16 和 float16 版本則包含相應精度的檢查點。另有專為 🤗 transformers 和原始 JAX 實作提供的模型儲存庫。

如後文詳述,高解像度模型需要更多記憶體,因為輸入序列長得多。這些模型可能有助 OCR 等細緻任務,但大部分任務的品質提升都很小。大多數用途使用 224 版本已完全足夠。

你可在這個集合找到所有模型和 Spaces。

模型能力

PaliGemma 是單輪視覺語言模型,並非為對話用途而設;針對特定用途微調時表現最佳。

你可以使用「detect」或「segment」等任務前綴設定模型要執行的任務。預訓練模型以這種方式訓練,讓它具備豐富能力,包括問答、字幕生成和分割等。不過,模型並非設計成可直接使用,而是應透過微調,並使用類似的提示結構遷移至特定任務。要互動式測試,可使用經多種任務微調的「mix」系列模型。

以下示例會使用 mix 檢查點展示部分能力。

影像字幕生成

向 PaliGemma 提示後,模型便可為影像生成字幕。你可以使用 mix 檢查點嘗試不同的字幕提示,看看模型如何回應。

Captioning

視覺問答

只需連同影像傳入問題,PaliGemma 便可回答與影像相關的問題。

VQA

偵測

PaliGemma 可使用 detect [entity] 提示偵測影像中的實體。模型會以特殊的 <loc[value]> token 輸出邊界框座標的位置,其中 value 是代表正規化座標的數值。每次偵測會依序輸出四個位置座標 y_min、x_min、y_max、x_max,後面接着該邊界框內偵測到的標籤。要把數值轉成座標,先將數值除以 1024,再把 y 乘以影像高度,把 x 乘以影像寬度,即可得到相對於原始影像大小的邊界框座標。

Detection

指代表達分割

PaliGemma mix 檢查點亦可在收到 segment [entity] 提示時分割影像中的實體。這稱為指代表達分割,因為我們會以自然語言描述感興趣的實體。輸出是一連串位置和分割 token。位置 token 表示上文所述的邊界框;分割 token 則可進一步處理以生成分割遮罩。

Segmentation

文件理解

PaliGemma mix 檢查點具備出色的文件理解和推理能力。

ocrqa

Mix 基準測試

以下列出 mix 檢查點的分數。

模型 MMVP 準確度 POPE 準確度(隨機/熱門/對抗)
mix-224 46.00 88.00 86.63 85.67
mix-448 45.33 89.37 88.40 87.47

微調檢查點

除了預訓練和 mix 模型,Google 亦發布了已遷移至不同任務的模型。這些模型對應學術基準,研究社羣可用來比較模型表現。以下列出部分例子。這些模型亦提供不同解像度。想查看所有指標,可查閲各模型的模型卡。

模型名稱 資料集/任務 遷移任務分數
paligemma-3b-ft-vqav2-448 圖表理解 VQAV2 準確度 85.64
paligemma-3b-ft-cococap-448 COCO 字幕 CIDEr 144.6
paligemma-3b-ft-science-qa-448 科學問答 ScienceQA Img 子集準確度 95.93,無 CoT
paligemma-3b-ft-refcoco-seg-896 理解影像中對特定物件的指稱 refcoco 平均 IoU 76.94;refcoco+ 平均 IoU 72.18;refcocog 平均 IoU 72.22
paligemma-3b-ft-rsvqa-hr-224 遙感視覺問答 測試集準確度 92.61;test2 準確度 90.58

示範

作為此次發布的一部分,我們推出了示範,把參考實作包裝在 big_vision 儲存庫中,讓你輕鬆試用 mix 模型。

我們亦提供相容 Transformers 的示範版本,展示如何使用 PaliGemma transformers API。

如何執行推理

要存取 PaliGemma 模型,必須接受 Gemma 授權條款。如果你已能使用 Hugging Face 上其他 Gemma 模型,便可直接開始。否則,請前往任一 PaliGemma 模型頁面,並在同意授權條款後接受條款。取得存取權後,必須透過 notebook_login 或 huggingface-cli login 驗證身分。登入後即可開始使用!

你亦可立即在這份筆記本試用推理。

使用 Transformers

你可以使用 PaliGemmaForConditionalGeneration 類別,對已發布的任何模型進行推理。只需使用內置處理器預處理提示和影像,再傳入預處理後的輸入以生成內容。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model_id = "google/paligemma-3b-mix-224"
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

prompt = "What is on the flower?"
image_file = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg?download=true"
raw_image = Image.open(requests.get(image_file, stream=True).raw)
inputs = processor(prompt, raw_image, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=20)

print(processor.decode(output[0], skip_special_tokens=True)[len(prompt):])
# bee

你亦可按以下方法以 4-bit 載入模型。

from transformers import BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)
model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map={"":0}
)

除了 4-bit(或 8-bit)載入,transformers 整合亦讓你運用 Hugging Face 生態系統中的其他工具,例如:

詳細推理流程

如果你想自行編寫預處理或訓練程式碼,或想深入瞭解 PaliGemma 的運作方式,以下是輸入影像和文字會經過的步驟。

輸入文字會照常進行 token 化。開頭會加入 <bos> token,並在結尾附加換行 token(\n)。模型訓練時使用的輸入提示必須包含這個換行 token,因此明確加入可確保它必定存在。經 token 化的文字前面亦會加上固定數量的 <image> token。數量取決於輸入影像解像度,以及 SigLIP 模型使用的 patch 大小。PaliGemma 模型以三種正方形尺寸之一預訓練(224x224、448x448 或 896x896),並一律使用 14 的 patch 大小。因此,224 模型前面須加上 256 個 <image> token(224/14 * 224/14)、448 模型加上 1024 個,896 模型則加上 4096 個。

請注意,影像越大,輸入序列就越長,因此模型的語言處理部分需要更多記憶體。選擇模型時請記住這點。對 OCR 等細緻任務而言,較大的影像可能有助提升結果,但絕大多數任務的品質增幅都很小。決定改用更高解像度前,請先用自己的任務進行測試!

整個「提示」會經過語言模型的文字嵌入層,為每個 token 產生 2048 維 token 嵌入。

與此同時,輸入影像會以雙三次重採樣調整至所需尺寸(最低解像度模型為 224x224),然後交由 SigLIP 影像編碼器為每個 patch 產生 1152 維影像嵌入。接着,線性投影器會把影像嵌入投影為每個 patch 2048 維的表示,與文字 token 的維度相同。最終影像嵌入會與 <image> 文字嵌入合併,作為自迴歸文字生成的最終輸入。生成流程會正常以自迴歸模式運作:完整輸入(image + bos + prompt + \n)使用完整區塊注意力,而生成文字則使用因果注意力遮罩。

處理器和模型類別會自動處理上述細節,因此可以使用與前文示例相同、熟悉的高階 transformers API 執行推理。

微調

使用 big_vision

PaliGemma 使用 big_vision 程式碼庫訓練。這個程式碼庫亦曾用來開發 BiT、原始 ViT、LiT、CapPa、SigLIP 等模型。

專案設定資料夾 configs/proj/paligemma/ 中有一份 README.md。你可以執行 transfers/ 子資料夾中的設定檔,把預訓練模型遷移至新任務;我們所有遷移結果都透過執行當中的設定取得。如果想遷移自己的模型,可 fork 範例設定檔 transfers/forkme.py,並按照註解中的指示按用途調整。

另外亦有一份 Colab finetune_paligemma.ipynb,可在免費 T4 GPU 執行環境進行簡化微調。為符合有限的主機和 GPU 記憶體,Colab 程式碼只會更新注意力層的權重(170M 個參數),並使用 SGD(而非 Adam)。

使用 transformers

感謝 transformers,微調 PaliGemma 非常簡單。你亦可進行 QLoRA 或 LoRA 微調。在此示例中,我們會簡單微調解碼器,再示範如何改用 QLoRA 微調。 我們會安裝最新版 transformers 函式庫。

pip install transformers

與推理章節一樣,我們會使用 notebook_login() 驗證身分並存取模型。

from huggingface_hub import notebook_login
notebook_login()

此示例會使用 VQAv2 資料集,微調模型以回答影像相關問題。先載入資料集。我們只會使用 question、multiple_choice_answer 和 image 欄位,因此也會移除其他欄位,並把資料集分割。

from datasets import load_dataset 
ds = load_dataset('HuggingFaceM4/VQAv2', split="train") 
cols_remove = ["question_type", "answers", "answer_type", "image_id", "question_id"] 
ds = ds.remove_columns(cols_remove)
ds = ds.train_test_split(test_size=0.1)
train_ds = ds["train"]
val_ds = ds["test"]

接着載入處理器,當中包含影像處理和 token 化功能,再預處理資料集。

from transformers import PaliGemmaProcessor 
model_id = "google/paligemma-3b-pt-224"
processor = PaliGemmaProcessor.from_pretrained(model_id)

我們會建立提示範本,引導 PaliGemma 回答視覺問題。由於 tokenizer 會在輸入中加入填充,我們要把標籤中的填充位置設為不同於 tokenizer 填充 token 和影像 token 的值。

import torch
device = "cuda"

image_token = processor.tokenizer.convert_tokens_to_ids("<image>")
def collate_fn(examples):
  texts = ["answer " + example["question"] for example in examples]
  labels= [example['multiple_choice_answer'] for example in examples]
  images = [example["image"].convert("RGB") for example in examples]
  tokens = processor(text=texts, images=images, suffix=labels,
                    return_tensors="pt", padding="longest")

  tokens = tokens.to(torch.bfloat16).to(device)
  return tokens

你可以直接載入模型,或以 4-bit 模式載入以進行 QLoRA。以下示範直接載入模型。我們會載入模型,凍結影像編碼器和投影器,並只微調解碼器。如果影像屬於模型預訓練資料集可能未涵蓋的特定領域,你或許不應凍結影像編碼器。

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16).to(device)

for param in model.vision_tower.parameters():
    param.requires_grad = False

for param in model.multi_modal_projector.parameters():
    param.requires_grad = True

如果想以 4-bit 載入模型進行 QLoRA,可在下文加入以下變更。

from transformers import BitsAndBytesConfig
from peft import get_peft_model, LoraConfig

bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_type=torch.bfloat16
)

lora_config = LoraConfig(
    r=8, 
    target_modules=["q_proj", "o_proj", "k_proj", "v_proj", "gate_proj", "up_proj", "down_proj"],
    task_type="CAUSAL_LM",
)
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
#trainable params: 11,298,816 || all params: 2,934,634,224 || trainable%: 0.38501616002417344

現在初始化 Trainer 和 TrainingArguments。若要進行 QLoRA 微調,請改用 paged_adamw_8bit 作為 optimizer。

from transformers import TrainingArguments
args=TrainingArguments(
            num_train_epochs=2,
            remove_unused_columns=False,
            per_device_train_batch_size=16,
            gradient_accumulation_steps=4,
            warmup_steps=2,
            learning_rate=2e-5,
            weight_decay=1e-6,
            adam_beta2=0.999,
            logging_steps=100,
            optim="adamw_hf",
            save_strategy="steps",
            save_steps=1000,
            push_to_hub=True,
            save_total_limit=1,
            bf16=True,
            report_to=["tensorboard"],
            dataloader_pin_memory=False
        )

初始化 Trainer,傳入資料集、資料整理函式和訓練參數,再呼叫 train() 開始訓練。

trainer = Trainer(
        model=model,
        train_dataset=train_ds,
        eval_dataset=val_ds,
        data_collator=collate_fn,
        args=args
        )
trainer.train()

其他資源

我們感謝 Omar Sanseviero、Lucas Beyer、Xiaohua Zhai 和 Matthias Minderer 詳細審閲本文,亦感謝 Peter Robicheaux 協助調整 transformers 微調功能。

來源:Hugging Face Blog · huggingface.co