Google 發佈 PaliGemma 2 視覺語言模型
Welcome PaliGemma 2 – New vision language models by Google
Google 發佈 PaliGemma 2 視覺語言模型,提供 3B、10B、28B 三種規模及 224x224、448x448、896x896 三種輸入解析度。
PaliGemma 2 將前代單一 3B 規格擴展至 3B、10B、28B,並提供三種輸入解析度,呈現下游微調時在品質與效率間選擇的彈性。
我們很高興迎來 Google 全新的視覺語言模型 PaliGemma 2,這是 PaliGemma 的新一代版本。與上一代一樣,PaliGemma 2 使用強大的 SigLIP 負責視覺部分,文字解碼器則升級至最新的 Gemma 2。
PaliGemma 2 推出全新的預訓練(pt)模型,參數規模分別為 3B、10B 及 28B。所有模型均支援多種輸入解像度:224x224、448x448 及 896x896。這些組合為不同用途提供很大彈性,實務工作者可按需要平衡質素與效率。相比之下,上一代 PaliGemma 只有 3B 版本。
預訓練模型的設計方便用戶針對下游任務微調。社羣廣泛採用第一代 PaliGemma 處理多種用途。新版本增加了不同選項,預訓練質素亦有所提升,我們非常期待社羣這次會如何運用它。
例如,Google 亦會在 DOCCI 數據集上發布一些微調版本,展示模型能生成多元、穩健、篇幅較長且細緻入微的圖片説明。經 DOCCI 微調的模型提供 3B 和 10B 版本,支援 448x448 輸入解像度。
這次發布包括所有開放模型儲存庫、Transformers 整合、微調指令碼,以及一個示範模型;我們自行在 VQAv2 數據集上微調該模型,以進行視覺問答。
目錄
PaliGemma 2 簡介
PaliGemma 2 是 Google 於 5 月推出的 PaliGemma 視覺語言模型的新一代版本。PaliGemma 2 將強大的 SigLIP 圖像編碼器與 Gemma 2 語言模型結合。
新模型以 Gemma 2 的 2B、9B 及 27B 語言模型為基礎,分別形成 PaliGemma 2 的 3B、10B 及 28B 版本;名稱亦計入(精簡型)圖像編碼器額外使用的參數。如上所述,模型支援三種不同解像度,為下游任務微調提供很大彈性。
PaliGemma 2 根據 Gemma 授權條款發佈,該條款容許重新分發、商業用途、微調及建立模型衍生版本。
這次發布包括以下以 bfloat16 精度提供的檢查點:
9 個預訓練模型:3B、10B 和 28B,各自支援
224x224、448x448及896x896解像度。2 個經 DOCCI 微調的模型:兩個在 DOCCI 數據集(圖片與文字説明配對)上微調的模型,支援 3B 和 10B PaliGemma 2 版本,以及
448x448輸入解像度。
模型能力
從上一代 PaliGemma 的表現可見,預訓練(pt)模型非常適合再針對下游任務微調。
pt 模型以以下數據混合進行預訓練。預訓練數據集涵蓋多元內容,讓用戶只需相對較少範例,便可針對相近領域的下游任務進行微調。
WebLI:以公開網絡內容建立的大規模多語言圖文數據集。模型使用 WebLI 的多種資料子集,以獲得多方面能力,例如視覺語意理解、物件定位、視覺情境文字理解及多語言能力。
CC3M-35L: 從網頁整理而成的英文圖片與替代文字配對(Sharma 等人,2018)。作者使用 Google Cloud Translation API 將這個數據集翻譯成另外 34 種語言,作為標註。
具問答驗證的視覺問題生成(VQ2A):一個改良的問答數據集。此數據集亦透過 Google Cloud Translation API 翻譯成同樣另外 34 種語言。
OpenImages: 在 OpenImages 數據集上運用人工編寫的規則,產生物件偵測及物件感知的問題與答案(Piergiovanni 等人,2022)。
WIT:從維基百科收集的圖片及文字(Srinivasan 等人,2021)。
PaliGemma 2 團隊在內部以多種視覺語言理解任務微調 PT 模型,並在模型卡及技術報告中提供這些微調模型的基準測試結果。
在 DOCCI 數據集上微調的 PaliGemma 2,可處理多種圖片説明任務,包括呈現文字、描述空間關係,以及在説明中加入常識知識。
以下列出經 DOCCI 微調的 PaliGemma 2 檢查點的效能,並與其他模型比較(取自技術報告的表 6)。
| #par | #char | #sent | NES↓ | |
|---|---|---|---|---|
| MiniGPT-4 | 7B | 484 | 5.6 | 52.3 |
| mPLUG-Owl2 | 8B | 459 | 4.4 | 48.4 |
| InstructBLIP | 7B | 510 | 4.0 | 42.6 |
| LLaVA-1.5 | 7B | 395 | 4.2 | 40.6 |
| VILA | 7B | 871 | 8.6 | 28.6 |
| PaliGemma | 3B | 535 | 8.9 | 34.3 |
| PaLI-5B | 5B | 1065 | 11.3 | 32.9 |
| PaliGemma 2 | 3B | 529 | 7.7 | 28.4 |
| PaliGemma 2 | 10B | 521 | 7.5 | 20.3 |
- #char:生成圖片説明的平均字元數。
- #sent:平均句子數。
- NES:不藴涵句子(數值愈低愈好),用來衡量事實錯誤。
以下展示 DOCCI 檢查點的一些模型輸出,呈現其多方面能力。
| 輸入圖片 | 圖片説明 |
|---|---|
![]() |
折線圖顯示 ImageNet 模型微調後的 top-1 準確率。圖中有四條線,分別以藍、橙、綠及黑色標示。藍線是四條線中最低的一條,而它 |
![]() |
一張白紙的特寫,紙上印有黑色文字,中間位置微微彎曲。文字採用打字機字體。紙張頂部寫着「Ashley Hotel West Coast」,下方是「WiFi Internet Service」,再下方是「Username: fqpp」,以及「Password: aaeu |
![]() |
白牆上畫着一幅壁畫,描繪 David Bowie 的 Ziggy Stardust 造型。壁畫有三張並排的人臉,每張都有紅髮,眼睛上方畫有藍色閃電。三張臉都有藍色眼影、粉紅色胭脂和紅唇。中間那張臉上方有一扇黑色方窗,窗上以藍色顯示白字「JAM」。一輛銀色汽車 |
![]() |
從上方俯瞰白色雲石枱面,上面放着四個咖啡杯。左邊有兩個灰色杯,左下方有一個白色杯,右邊則有一個灰色杯。右上角有個放在木座上的金屬線水果籃,裏面有橙。左邊有一個裝着水的透明玻璃壺,還有一部分 |
![]() |
一本白色書本的特寫,底部有一條藍色橫帶。書本上半部是白色,上面印有黑字:「Visual Concept Learning from User-tagged Web Video」。黑字下方有一個白色方框,內有五張小圖。最左邊的圖片中,有個人站在草地上;右邊一張是藍色海洋 |
示範
為作示範,Hugging Face 團隊在 PaliGemma 2 3B(448x448 解像度)上,使用 VQAv2 數據集的一小部分進行微調。我們採用 LoRA 微調及 PEFT,詳情見下文的微調部分。下方示範展示最終結果。歡迎查看這個 Space中的程式碼,瞭解運作方式,亦可複製後改作自己的微調版本。
如何搭配 Transformers 使用
你可以使用 PaliGemmaForConditionalGeneration 和 AutoProcessor API,透過 🤗 transformers 對 PaliGemma 2 模型執行推論。請確保安裝 transformers 4.47 或更新版本:
pip install --upgrade transformers
之後便可如下執行推論。與平常一樣,請確保採用符合你所用任務的模型訓練提示格式:
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
model_id = "google/paligemma2-10b-ft-docci-448"
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id)
model = model.to("cuda")
processor = AutoProcessor.from_pretrained(model_id)
prompt = "<image>caption en"
image_file = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.png"
raw_image = Image.open(requests.get(image_file, stream=True).raw).convert("RGB")
inputs = processor(prompt, raw_image, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=200)
input_len = inputs["input_ids"].shape[-1]
print(processor.decode(output[0][input_len:], skip_special_tokens=True))
# A medium shot of two cats laying on a pile of brown fishing nets. The cat in the foreground is a gray tabby cat with white on its chest and paws. The cat is laying on its side with its head facing the bottom right corner of the image. The cat in the background is laying on its side with its head facing the top left corner of the image. The cat's body is curled up, its head is slightly turned to the right, and its front paws are tucked underneath its body. There is a teal rope hanging from the fishing net in the top right corner of the image.
你亦可以使用 transformers 的 bitsandbytes 整合,以量化方式載入模型。以下範例採用 4-bit nf4:
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
model = PaligemmaForConditionalGeneration.from_pretrained(
model_id,
quantization_config=bnb_config,
device_map={"":0}
)
我們快速測試了量化對效能的影響:以 224x224 輸入圖片,在 textvqa 數據集評估經微調的 3B 檢查點。以下是驗證集 5,000 個項目的結果:
bfloat16,未量化:準確率 60.04%。8-bit:59.78%。4-bit,採用上方程式片段中的設定:58.72%。
這些數字相當令人鼓舞!當然,量化對較大型的檢查點最有參考價值;我們建議你始終在實際使用的領域和任務上量度結果。
微調
如果你之前曾微調 PaliGemma,微調 PaliGemma 2 的 API 亦相同,你現有的程式碼可以直接使用。我們提供微調指令碼及筆記本,供你微調模型、凍結模型部分層,或套用 LoRA、QLoRA 等節省記憶體的微調技術。
我們為作示範,使用 VQAv2 驗證集一半的數據,以 LoRA 微調 PaliGemma 2 模型。這項工作使用 3 張 80GB VRAM 的 A100,耗時半小時。你可在此處找到模型,亦可查看展示模型效果的 Gradio 示範。
總結
新推出的 PaliGemma 2 比上一代更令人期待,提供多種尺寸以配合不同需要,預訓練模型亦更強。我們期待看到社羣會用它打造甚麼成果!
感謝 Google 團隊發布這個出色的開放模型系列。特別感謝 Pablo Montalvo 將模型整合至 Transformers,亦感謝 Lysandre、Raushan、Arthur、Yieh-Dar 及團隊其他成員迅速完成審閲、測試和合併。
資源
來源:Hugging Face Blog · huggingface.co





