跳到正文
Hugging Face Blog·· 2024-08-12精選AI 評分68

TII 發佈 Falcon Mamba 7B 純 Mamba 模型

Welcome Falcon Mamba: The first strong attention-free 7B model

AI 導讀

阿布扎比的 Technology Innovation Institute(TII)發佈 Falcon Mamba 7B,這是一款採用純 Mamba 架構、以 TII Falcon Mamba 7B License 1.0 開放存取的模型。

推薦理由

文章並列 Falcon Mamba 的基準表現與長序列生成結果,也説明 sequential prefill 對可處理提示長度的影響。

正文 · 繁體中文

Falcon Mamba 是阿布扎比Technology Innovation Institute(TII)推出的新模型,採用TII Falcon Mamba 7B License 1.0。模型開放取用,並已在 Hugging Face 生態系統上架,任何人都可用於研究或應用。

本文會介紹模型背後的設計決策、它如何與其他現有最先進模型競爭,以及如何在 Hugging Face 生態系統中使用。

首個通用大型純 Mamba 模型

以注意力機制為基礎的 Transformer,是現今所有最強大型語言模型採用的主流架構。然而,隨着序列長度增加,注意力機制所需的運算和記憶體成本也會上升,因此在處理長序列方面有根本限制。包括狀態空間語言模型(SSLM)在內的多種替代架構,曾嘗試解決序列擴展限制,但效能仍不及最先進的 Transformer。

透過 Falcon Mamba,我們證明即使不損失效能,也能克服序列擴展限制。Falcon Mamba 以原始 Mamba 架構為基礎,該架構由 Mamba: Linear-Time Sequence Modeling with Selective State Spaces 提出,並加入額外的 RMS 正規化層,確保大規模訓練穩定。這項架構選擇令 Falcon Mamba 能夠:

  • 處理任意長度的序列,而記憶體用量不會增加;尤其可在單張 A10 24GB GPU 上運行。
  • 生成新 Token 所需時間固定,不受脈絡大小影響(見本節)

模型訓練

Falcon Mamba 使用約 5500GT 資料訓練,主要是 RefinedWeb 資料,另加入來自公開來源的高品質技術資料和程式碼資料。訓練大部分時間採用固定學習率,之後再經過相對較短的學習率衰減階段。在最後階段,我們亦加入少量精心整理的高品質資料,進一步提升模型表現。

評估

我們使用 lm-evaluation-harness 套件,在新版排行榜的所有基準測試上評估模型,然後採用 Hugging Face 分數正規化方式調整評估結果。

model name IFEval BBH MATH LvL5 GPQA MUSR MMLU-PRO Average
純 SSM 模型
Falcon Mamba-7B 33.36 19.88 3.63 8.05 10.86 14.47 15.04
TRI-ML/mamba-7b-rw* 22.46 6.71 0.45 1.12 5.51 1.69 6.25
SSM-注意力混合模型
recurrentgemma-9b 30.76 14.80 4.83 4.70 6.60 17.88 13.20
Zyphra/Zamba-7B-v1* 24.06 21.12 3.32 3.03 7.74 16.02 12.55
Transformer 模型
Falcon2-11B 32.61 21.94 2.34 2.80 7.53 15.44 13.78
Meta-Llama-3-8B 14.55 24.50 3.25 7.38 6.24 24.55 13.41
Meta-Llama-3.1-8B 12.70 25.29 4.61 6.15 8.98 24.95 13.78
Mistral-7B-v0.1 23.86 22.02 2.49 5.59 10.68 22.36 14.50
Mistral-Nemo-Base-2407 (12B) 16.83 29.37 4.98 5.82 6.52 27.46 15.08
gemma-7B 26.59 21.12 6.42 4.92 10.98 21.64 15.28

我們亦使用 lighteval,在第一版 LLM Leaderboard 的基準測試上評估模型。

model name ARC HellaSwag MMLU Winogrande TruthfulQA GSM8K Average
純 SSM 模型
Falcon Mamba-7B* 62.03 80.82 62.11 73.64 53.42 52.54 64.09
TRI-ML/mamba-7b-rw* 51.25 80.85 33.41 71.11 32.08 4.70 45.52
SSM-注意力混合模型
recurrentgemma-9b** 52.00 80.40 60.50 73.60 38.60 42.60 57.95
Zyphra/Zamba-7B-v1* 56.14 82.23 58.11 79.87 52.88 30.78 60.00
Transformer 模型
Falcon2-11B 59.73 82.91 58.37 78.30 52.56 53.83 64.28
Meta-Llama-3-8B 60.24 82.23 66.70 78.45 42.93 45.19 62.62
Meta-Llama-3.1-8B 58.53 82.13 66.43 74.35 44.29 47.92 62.28
Mistral-7B-v0.1 59.98 83.31 64.16 78.37 42.15 37.83 60.97
gemma-7B 61.09 82.20 64.56 79.01 44.79 50.87 63.75

對標有星號的模型,我們在內部評估任務;對標有兩個星號的模型,結果則取自論文或模型卡。

處理長序列

基於 SSM 模型處理長序列時的理論效率,我們使用 optimum-benchmark 程式庫,比較 Falcon Mamba 和熱門 Transformer 模型的記憶體用量及生成吞吐量。為公平比較,我們將所有 Transformer 模型的詞彙表大小重新調整至與 Falcon Mamba 相同,因為這會大幅影響模型的記憶體需求。

在看結果前,先討論序列中的提示(預填充)部分與生成(解碼)部分有何不同。稍後會看到,與 Transformer 模型相比,預填充的細節對狀態空間模型更重要。Transformer 生成下一個 Token 時,需要關注脈絡中所有先前 Token 的鍵和值,因此記憶體需求和生成時間都會隨脈絡長度線性增加。狀態空間模型只關注並儲存其循環狀態,因此生成長序列毋須額外記憶體或時間。這解釋了 SSM 在解碼階段相對 Transformer 的優勢,但若要充分利用 SSM 架構,預填充階段仍需額外處理。

預填充的標準做法是平行處理整個提示,以充分利用 GPU。optimum-benchmark 程式庫採用這種方式,我們稱之為平行預填充。平行預填充需要把提示中每個 Token 的隱藏狀態存入記憶體。對 Transformer 而言,這部分額外記憶體主要由儲存的 KV 快取佔用。SSM 模型毋須快取,儲存隱藏狀態的記憶體便成為唯一會隨提示長度成比例增加的部分。因此,記憶體需求會隨提示長度上升,SSM 模型也會像 Transformer 一樣失去處理任意長序列的能力。

平行預填充的另一種做法,是逐個 Token 處理提示,我們稱之為循序預填充。與序列平行處理相似,亦可改為一次處理較大的提示區塊,而非個別 Token,令 GPU 使用率更高。循序預填充對 Transformer 意義不大,卻令 SSM 模型重新可以處理任意長的提示。

基於以上説明,我們先測試單張 24 GB A10 GPU 可容納的最大序列長度,結果見下方圖表。批次大小固定為 1,並使用 float32 精度。即使採用平行預填充,Falcon Mamba 也能容納比 Transformer 更長的序列;循序預填充則能充分發揮其潛力,處理任意長度的提示詞

Model Performance

接着,我們在提示長度為 1、生成 Token 數量最多達 130k 的設定下,使用批次大小 1 和 H100 GPU 測量生成吞吐量。結果見下方圖表。我們觀察到 Falcon Mamba 生成所有 Token 時都保持固定吞吐量,CUDA 峯值記憶體亦沒有增加。至於 Transformer 模型,峯值記憶體會上升,生成 Token 愈多,生成速度便愈慢。

Model Performance

如何在 Hugging Face transformers 中使用?

Falcon Mamba 架構將在下一版 Hugging Face transformers 程式庫(>4.45.0)中推出。要使用此模型,請確保安裝最新版本的 Hugging Face transformers,或從原始碼安裝程式庫。

Falcon Mamba 相容於 Hugging Face 提供的大部分 API,例如你熟悉的 AutoModelForCausalLM 或 pipeline:

from transformers import AutoModelForCausalLM, AutoTokenizer 

model_id = "tiiuae/falcon-mamba-7b" 
tokenizer = AutoTokenizer.from_pretrained(model_id) 

model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto") 
inputs = tokenizer("Hello world, today", return_tensors="pt").to(0) 

output = model.generate(**inputs, max_new_tokens=100, do_sample=True) 
print(tokenizer.decode(Output[0], skip_special_tokens=True)) 

由於模型體積較大,它亦支援 bitsandbytes 量化等功能,以便在 GPU 記憶體較少的限制下運行,例如:

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig 

model_id = "tiiuae/falcon-mamba-7b" 
tokenizer = AutoTokenizer.from_pretrained(model_id) 

quantization_config = BitsAndBytesConfig(load_in_4bit=True) 
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config) 

inputs = tokenizer("Hello world, today", return_tensors="pt").to(0) 
output = model.generate(**inputs, max_new_tokens=100, do_sample=True) 

print(tokenizer.decode(output[0], skip_special_tokens=True)) 

我們亦很高興推出 Falcon Mamba 的指示微調版本,使用額外 5 billion Token 的監督式微調(SFT)資料進行微調。這項延伸訓練提升了模型執行指示任務的精確度和效能。你可透過此示範體驗指示模型的能力。我們使用以下格式作為聊天模板:

<|im_start|>user
prompt<|im_end|>
<|im_start|>assistant

你亦可直接使用基礎模型和指示模型的 4-bit 轉換版本。請確保你能使用與 bitsandbytes 程式庫相容的 GPU,才能執行量化模型。

你亦可使用 torch.compile 加快推論;模型載入後,只需呼叫一次 model = torch.compile(model)。

鳴謝

本文作者感謝 Hugging Face 團隊提供順暢支援,並協助將模型整合至其生態系統,特別感謝以下人士:

作者亦感謝 Tri Dao 和 Albert Gu 為社羣實作並開源 Mamba 架構。

來源:Hugging Face Blog · huggingface.co