跳到正文
Hugging Face Blog·· 2024-06-27精選AI 評分79

Google 發佈開放式大語言模型 Gemma 2

Welcome Gemma 2 - Google’s new open LLM

AI 導讀

Google 發佈 Gemma 2,提供 9B 和 27B 兩種參數規模的基礎版與指令微調版,合共四個開放權重模型。Gemma 2 每隔一層採用滑動窗口注意力,其餘層使用全局注意力;9B 模型採用知識蒸餾預訓練。Hugging Face Hub 已提供四個模型,並介紹 Transformers 整合、Inference Endpoints 部署及 TRL 微調示例。

推薦理由

文章並列 Gemma 2 9B 與 Mistral 7B、Llama 3 8B 等模型在 MMLU、GSM8K 等基準的成績,提供小型開放模型效能比較的具體參照。

正文 · 繁體中文

Google 發佈了 Gemma 2,為其頂尖開放式 LLM 系列增添最新成員。我們很高興與 Google 合作,確保它能在 Hugging Face 生態系統中獲得最佳整合。你可在 Hub 找到 4 款開放權重模型(2 款基礎模型及 2 款微調模型)。此次發佈的功能和整合包括:

目錄

甚麼是 Gemma 2?

Gemma 2 是 Google 最新一代的開放式 LLM,提供兩種規模,分別為 9 billion 和 27 billion 個參數,並有基礎(預訓練)和指令微調版本。Gemma 以 Google DeepMind 的 Gemini 為基礎,上下文長度為 8K token:

Gemma 2 模型的訓練資料量約為第一代的 2 倍:27B 版本使用了總計 13 trillion 個 token,9B 版本則使用 8 trillion 個 token。資料包括網絡資料(主要為英文)、程式碼和數學內容。我們不知道訓練資料組合的確切詳情,只能推測更大規模且更仔細的資料整理,是效能提升的重要因素。

Gemma 2 採用與第一代相同的授權條款。這是一種寬鬆授權,容許再散佈、微調、商業用途及製作衍生作品。

Gemma 2 的技術改進

Gemma 2 與第一代有不少相似之處:上下文長度為 8192 token,並採用旋轉位置嵌入(RoPE)。與原版 Gemma 相比,Gemma 2 有四項主要改進:

  • 滑動視窗注意力:交替使用滑動視窗和完整二次方注意力,以生成高品質內容。
  • Logit soft-capping:將 logits 縮放至固定範圍,避免數值過度增大,從而改善訓練。
  • 知識蒸餾:利用較大型的教師模型訓練較小型模型(用於 9B 模型)。
  • 模型合併:將兩個或以上的 LLM 合併成一個全新模型。

Gemma 2 使用 Google Cloud TPU 訓練(27B 使用 v5p,9B 使用 TPU v4),並採用 JAX 和 ML Pathways。Gemma 2 Instruct 專為對話應用程式最佳化,並以合成及人類生成的提示詞與回應組合進行訓練,所用方法包括監督式微調(SFT)、從大型模型蒸餾、使用更着重對話能力的獎勵模型進行人類回饋強化學習(RLHF),以及利用 WARP 合併模型,以提升整體效能。

與預訓練資料組合相似,團隊沒有公開微調資料集詳情,亦沒有提供 SFT 和 RLHF 的相關超參數。

滑動視窗注意力

滑動視窗注意力是一種降低 transformer 模型注意力運算所需記憶體和時間的方法,Mistral 等模型亦有採用此方法。Gemma 2 的新穎之處,在於每隔一層便套用滑動視窗(本地範圍為 4096 個 token),中間的層則繼續使用完整二次方的全域注意力(8192 個 token)。我們推測,這樣做可在長上下文情況下提升品質(半數層仍會注意所有 token),同時部分保留滑動注意力的優點。

Soft-capping 與注意力實作

Soft capping 是一種避免 logits 過度增大、但不會將其截斷的技術。方法是先將 logits 除以最大值閾值(soft_cap),再通過 tanh 層(確保數值落在 (-1, 1) 範圍),最後再次乘以該閾值。這可確保最終數值落在 (-soft_cap, +soft_cap) 區間,既不會損失太多資訊,又能穩定訓練。

綜合以上步驟,logits 的計算方式如下:logits ← soft_cap ∗ tanh(logits/soft_cap)

Gemma 2 在最後一層和每個注意力層均採用 soft capping。注意力 logits 的上限為 50.0,最後一層 logits 的上限則為 30.0。

發佈時,soft-capping 尚不相容於 Flash Attention / SDPA,但推理時仍可使用兩者,以達到最高效率。Gemma 2 團隊觀察到,推理時移除 soft-capping 只會造成非常輕微的差異。

注意:如要穩定進行微調,仍須啟用 soft-capping,因此我們建議使用 eager attention,而非 SDPA 進行微調。

知識蒸餾

知識蒸餾是一種常用技術,透過訓練較小的學生模型模仿較大、效能更好的教師模型。這個方法會在 LLM 的下一個 token 預測任務中加入教師模型(例如 GPT-4、Claude 或 Gemini)提供的 token 機率分佈,讓學生模型取得更豐富的學習訊號。

根據 Gemma 2 技術報告,9B 模型的預訓練採用了知識蒸餾,而 27B 模型則從頭開始預訓練。

在後訓練階段,Gemma 2 團隊從教師模型生成多樣化的完成內容(報告沒有説明教師模型是哪一款,但推測是 Gemini Ultra),再以這些合成資料透過 SFT 訓練學生模型。許多開放模型也採用此方法,例如 Zephyr 和 OpenHermes,它們完全以大型 LLM 生成的合成資料訓練。

雖然這種方法有效,但亦有缺點:學生模型與教師模型的容量不匹配,可能造成訓練與推理不匹配,即學生模型在推理時生成的文字,與訓練期間看過的內容分佈不同。

為瞭解決這個問題,Gemma 2 團隊使用了「on-policy distillation」:學生模型根據 SFT 提示詞生成完成內容,然後利用這些內容計算教師與學生模型 logits 之間的 KL 散度。透過在整個訓練過程中降低 KL 散度,學生模型既能準確學習教師模型的行為,也能減少訓練與推理不匹配。

這個方法相當有趣;我們在社羣中看到,online DPO 等 on-policy 方法能產生更強的模型。on-policy distillation 的一項優點是隻需要教師模型的 logits,因此毋須依賴獎勵模型或「以 LLM 作評審」來改善模型。期待這種方法在未來幾個月於微調社羣中愈來愈普及!

模型合併

模型合併是一種將兩個或以上 LLM 合併成單一新模型的技術。這項技術相對較新,仍屬實驗性質,而且無需加速器也可使用。Mergekit 是一套常用的開源 LLM 合併工具,支援線性、SLERP、TIES、DARE 等合併技術。

根據技術報告,Gemma 2 使用了Warp,一種分三個不同階段合併模型的新技術:

  1. 指數移動平均(EMA):在強化學習(RL)微調過程中套用。
  2. 球面線性插值(SLERP):在多個策略完成 RL 微調後套用。
  3. 朝初始化方向線性插值(LITI):在 SLERP 階段之後套用。

Gemma 2 評估

Gemma 模型表現如何?以下根據技術報告和新版 open LLM Leaderboard,比較它們與其他開放模型的效能。

技術報告結果

Gemma 2 技術報告使用舊版 Open LLM Leaderboard 基準測試,比較不同開放式 LLM 的效能。

Llama 3(70B) Qwen 1.5(32B) Gemma 2(27B)
MMLU 79.2 74.3 75.2
GSM8K 76.9 61.1 75.1
ARC-c 68.8 63.6 71.4
HellaSwag 88.0 85.0 86.4
Winogrande 85.3 81.5 83.7

報告亦比較了小型語言模型的效能。

基準測試 Mistral(7B) Llama 3(8B) Gemma(8B) Gemma 2(9B)
MMLU 62.5 66.6 64.4 71.3
GSM8K 34.5 45.7 50.9 62.3
ARC-C 60.5 59.2 61.1 68.4
HellaSwag 83.0 82.0 82.3 81.9
Winogrande 78.5 78.5 79.0 80.6

Open LLM Leaderboard 結果

注意:我們目前正根據新版 Open LLM Leaderboard 基準測試,獨立評估 Google Gemma 2,並會於今天稍後更新本節內容。

如何提示 Gemma 2

基礎模型沒有提示詞格式。與其他基礎模型一樣,它們可用來延續輸入序列,生成合理的後續內容,亦可用於 zero-shot 或 few-shot 推理。Instruct 版本採用非常簡單的對話結構:

<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
LaMDA<end_of_turn>
<start_of_turn>model
LaMDA who?<end_of_turn><eos>

要有效使用,必須準確重現這個格式。稍後我們會示範如何透過 transformers 提供的聊天範本,輕鬆重現指令提示詞。

示範

你可以在 Hugging Chat 與 Gemma 27B Instruct 模型對話!請到此查看:https://huggingface.co/chat/models/google/gemma-2-27b-it。

使用 Hugging Face Transformers

使用 Transformers 4.42 版本,即可使用 Gemma,並運用 Hugging Face 生態系統中的所有工具。要透過 transformers 使用 Gemma 模型,請確保安裝最新的 transformers 版本:

pip install "transformers>=4.42.3" --upgrade

以下程式碼示範如何使用 gemma-2-9b-it 和 transformers。它需要約 18 GB RAM,適合許多消費級 GPU。同一段程式碼亦適用於 gemma-2-27b-it;該模型需要 56GB RAM,因此很適合用於正式環境。以 8-bit 或 4-bit 模式載入,可進一步減少記憶體用量。

from transformers import pipeline
import torch

pipe = pipeline(
    "text-generation",
    model="google/gemma-2-9b-it",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
    do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)

喂,老友!我只係一艘載着文字的小船,在數碼海洋上航行。大家叫我 Gemma,由 Google DeepMind 的一班能人創造。我曾在堆積如山的文字寶藏中受訓,學識像真正的海盜一樣説話和寫作。

儘管向我發問吧,我會盡力回答,呀! 🦜📚

我們使用 bfloat16,因為這是指令微調模型的參考精度。在你的硬件上,使用 float16 可能會較快,而 9B 模型的結果應該相若。不過請注意,27B 指令微調模型使用 float16 時會產生不穩定輸出:此模型權重必須使用 bfloat16。

你亦可自動量化模型,以 8-bit 甚至 4-bit 模式載入。大型 27B 版本以 4-bit 載入後,運行約需 18 GB 記憶體,因此適用於不少消費級顯示卡和 Google Colab GPU。以下示範如何以 4-bit 載入生成流程:

pipeline = pipeline(
    "text-generation",
    model=model,
    model_kwargs={
        "torch_dtype": torch.bfloat16,
        "quantization_config": {"load_in_4bit": True}
    },
)

如需瞭解更多使用 transformers 操作模型的詳情,請參閲模型卡。

整合 Google Cloud

注意:我們目前正為 GKE 和 Vertex AI 開發新容器,以高效運行 Google Gemma 2。容器推出後,我們會盡快更新本節內容。

使用 🤗 TRL 微調

訓練 LLM 在技術和運算方面均具挑戰性。本節會介紹 Hugging Face 生態系統中可用的工具,讓你在消費級 GPU 上有效率地訓練 Gemma。

以下提供一個範例指令,示範如何使用 OpenAssistant 的聊天資料集微調 Gemma。我們使用 4-bit 量化及 QLoRA 節省記憶體,並以所有注意力區塊的線性層為目標。請注意,與密集型 transformers 不同,MLP 層是稀疏的,且與 PEFT 配合不佳,因此不應將它們設為目標。

首先,安裝 🤗 TRL nightly 版本,並複製程式碼庫以取得訓練程式:

pip install "transformers>=4.42.3" --upgrade
pip install --upgrade bitsandbytes
pip install --ugprade peft
pip install git+https://github.com/huggingface/trl
git clone https://github.com/huggingface/trl
cd trl

然後即可執行程式:

# peft tuning; single GPU; https://wandb.ai/costa-huang/huggingface/runs/l1l53cst
python \
    trl/scripts/sft.py \
    --model_name google/gemma-2-27b \
    --dataset_name OpenAssistant/oasst_top1_2023-08-25 \
    --dataset_text_field="text" \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --learning_rate 2e-4 \
    --report_to wandb \
    --bf16 \
    --max_seq_length 1024 \
    --lora_r 16 --lora_alpha 32 \
    --lora_target_modules q_proj k_proj v_proj o_proj \
    --load_in_4bit \
    --use_peft \
    --attn_implementation eager \
    --logging_steps=10 \
    --gradient_checkpointing \
    --output_dir models/gemma2

alt_text

如果你有更多 GPU 可用,可使用 DeepSpeed 和 ZeRO Stage 3 執行訓練:

accelerate launch --config_file=examples/accelerate_configs/deepspeed_zero3.yaml \
    trl/scripts/sft.py \
    --model_name google/gemma-2-27b \
    --dataset_name OpenAssistant/oasst_top1_2023-08-25 \
    --dataset_text_field="text" \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 4 \
    --learning_rate 2e-5 \
    --report_to wandb \
    --bf16 \
    --max_seq_length 1024 \
    --attn_implementation eager \
    --logging_steps=10 \
    --gradient_checkpointing \
    --output_dir models/gemma2

alt_text

整合 Inference Endpoints

你可以在 Hugging Face 的 Inference Endpoints 部署 Gemma 2,並以 Text Generation Inference 作為後端。Text Generation Inference 是 Hugging Face 開發、適合正式環境使用的推理容器,令大型語言模型更容易部署。它具備連續批次處理、token 串流、多 GPU 快速推理所需的張量並行,以及適用於正式環境的日誌和追蹤功能。

要部署 Gemma 2 模型,請前往模型頁面,並按一下 Deploy -> Inference Endpoints 小工具。Inference Endpoints 支援與 OpenAI 相容的 Messages API;只需更改 URL,即可由其他封閉模型切換至開放模型。

from openai import OpenAI

# initialize the client but point it to TGI
client = OpenAI(
    base_url="<ENDPOINT_URL>" + "/v1/",  # replace with your endpoint url
    api_key="<HF_API_TOKEN>",  # replace with your token
)
chat_completion = client.chat.completions.create(
    model="tgi",
    messages=[
        {"role": "user", "content": "Why is open-source software important?"},
    ],
    stream=True,
    max_tokens=500
)

# iterate and print stream
for message in chat_completion:
    print(message.choices[0].delta.content, end="")

其他資源

致謝

若沒有多位社羣成員的貢獻,我們便無法在生態系統中發佈這些模型、提供支援及進行評估。感謝參與 LLM 評估的 Clémentine 和 Nathan;支援 Text Generation Inference 的 Nicolas;Arthur、Sanchit、Joao 和 Lysandre for 協助將 Gemma 2 整合至 transformers;以及讓 Gemma 2 能在 Hugging Chat 使用的 Nathan 和 Victor。

也要感謝 Google 團隊發佈 Gemma 2,並將它帶給開源 AI 社羣!

來源:Hugging Face Blog · huggingface.co