跳到正文
Hugging Face Blog·· 2024-12-18精選AI 評分67

Bamba-9B 混合 Mamba2 模型發佈,vLLM 測試吞吐量最高達 Meta Llama 3.1 8B 的 2.5 倍

Bamba: Inference-Efficient Hybrid Mamba2 Model

AI 導讀

IBM、Princeton、CMU 和 UIUC 合作訓練並推出 Bamba-9B 混合 Mamba2 模型,使用完全開放數據。該模型以 2.2T tokens 訓練;在 vLLM 測試中,相較 Meta Llama 3.1 8B,吞吐量最高提升 2.5 倍,延遲改善 2 倍。

推薦理由

文中對照 Bamba-9B 與 Meta Llama 3.1 8B 的 vLLM 推理數據,並列出數學及 MMLU 評測差距,兼顧效率與基準表現。

正文 · 繁體中文

Bamba

重點摘要

我們推出 Bamba-9B,這是一款由 IBM、Princeton、CMU 和 UIUC 使用完全開放的資料訓練、著重推論效率的混合式 Mamba2 模型。推論時,它在 vLLM 中相較標準 Transformer 展現 2.5 倍吞吐量提升及 2 倍延遲加速。為促進社羣實驗,模型已可即時用於 transformers、vLLM、TRL 和 llama.cpp。我們亦公開微調、訓練及延伸預訓練配方,以及可保存狀態的資料載入器,邀請社羣一同改良模型。一起突破 KV cache 瓶頸!

Artifacts 📦

  1. Hugging Face Bamba 系列
  2. 包含推論、訓練及微調指令碼的 GitHub 儲存庫
  3. 資料載入器
  4. 量化
  5. 用於叢集監控的 Auto-pilot

動機 🌟

Transformer 模型愈來愈多應用於實際場景,但推論時會遇上記憶體頻寬瓶頸,尤其是在較長上下文模型逐 token 解碼時。低精度、剪枝和壓縮等技術可以紓緩問題,卻沒有解決根本原因:上下文愈長,KV cache 所需記憶體就愈多。Mamba、Griffin 和 DeltaNet 等新興架構透過令 KV cache 大小維持固定,消除了這個瓶頸。近來 Mamba 架構在社羣中大受關注,例如 Jamba 和 Samba 將 Mamba 層與 Transformer 層交錯排列,探索由此形成的混合式 Mamba 模型。純 Mamba2 模型 Codestral Mamba 在編碼任務上展現最先進(SOTA)的成果,而 NVIDIA 的混合式 Mamba2 模型則在長上下文及傳統 LLM 基準測試中表現競爭力十足。近期的創新,例如 Falcon Mamba 和 Falcon 3 Mamba,在推出時均於 Hugging Face 排行榜取得 SOTA 排名。

我們推出以 2.2T tokens 訓練的混合式 Mamba2 模型 Bamba-9B,進一步驗證這些新興架構。IBM、Princeton、CMU 和 UIUC 合作提供完整訓練沿革、模型檢查點及預訓練程式碼,支援重現和實驗。為保留延伸預訓練及微調的彈性,已發布檢查點的訓練資料集不含任何與基準測試對齊的指令資料(FLAN 除外)。我們希望展示混合式 Mamba2 架構在 7B 至 10B 中小型模型規模的實力,並向社羣提供完全可重現、以開放資料集訓練的檢查點。

為促進社羣實驗,我們亦發布分散式、無狀態的隨機洗牌資料載入器,並在 transformers、TRL、vLLM 和 llama.cpp 等開源程式庫中支援混合式 Mamba2 架構。我們期望這些工作能推動 Mamba 架構普及、紓緩 KV cache 瓶頸,並縮小與 SOTA 開源模型的差距。

在 transformers 中使用 🤗

要在 transformers 中使用 Bamba,可沿用熟悉的 AutoModel 類別和 generate API。詳情請參閲 Bamba GitHub 的指引。

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("ibm-fms/Bamba-9B")
tokenizer = AutoTokenizer.from_pretrained("ibm-fms/Bamba-9B")

message = ["Mamba is a snake with following properties  "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
response = model.generate(**inputs, max_new_tokens=64)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

評估 📊

我們把評估分為三部分:

  1. 與 SOTA Transformer 模型比較
  2. 與 tokens 預算相近的 Transformer 模型比較
  3. 與其他 Mamba 變體比較。

評估設定 ⚙️ 🖥️: 除了 NVIDIA Mamba2 Hybrid 模型外,我們依照此處的設定和指令碼,重新執行所有模型的基準測試。由於 NVIDIA Mamba2 Hybrid 模型權重並非 Hugging Face transformers 相容格式,我們無法替它執行基準測試,因此採用原論文中的數字。至於 v2 排行榜結果,我們會先進行正規化,再報告正規化後的結果。除另有註明外,所有評估均以分數愈高愈好。

評估重點摘要

Bamba-9B 展示混合式 Mamba 模型與 Transformer 模型相比亦具競爭力。雖然它在數學基準測試及 MMLU 分數(MMLU、GSM8K、MMLU-PRO、MATH Lvl 5)方面仍有差距,但不計這些項目後,其平均表現幾乎追上 Meta Llama 3.1 8B(Llama 為 44.68,Bamba 為 45.53),而後者訓練資料多出7 倍。可透過 (a) 增加 tokens 延長預訓練(MMLU 分數在訓練期間持續提升),以及 (b) 在預訓練/退火階段加入高質素數學資料,來縮窄差距。未來計劃包括採用更新的資料集,例如 Olmo2 mix,並用與基準測試對齊的混合資料(例如 Dolmino mix)進行退火。

Bamba-9B 的結果亦紓緩了外界對 NVIDIA 混合式 Mamba2 模型在排行榜基準測試中分數相對偏低的疑慮。NVIDIA 研究旨在相同條件下比較不同架構。與其研究結果一致,Bamba-9B 再次證明混合式 Mamba2 架構的表現可媲美 Transformer 模型,同時推論效率最高可提升 5 倍。

與 SOTA Transformer 模型比較

我們將 Bamba-9B 與同等規模的 SOTA Transformer 模型比較(Meta Llama 3.1 8B、IBM Granite v3 8B、Olmo2 7B 和 Gemma 2 9B)。雖然基準測試分數有明顯差距,但未必代表 Mamba/Mamba2 模型本身不足。仔細分析後可見,差距主要源於模型使用的訓練資料量,以及退火階段有否加入與基準測試對齊的指令資料。例如,我們有一次小規模實驗加入 metamath,令 GSM8k 分數由 36.77 升至 60.0。我們會在即將發表的論文中詳細分析並分享研究結果。

HF OpenLLM v1 排行榜

HF LLM-V1 + OpenbookQA 和 PIQA:

模型 平均 MMLU ARC-C GSM8K Hellaswag OpenbookQA Piqa TruthfulQA Winogrande
Bamba 9B 62.31 60.77 63.23 36.77 81.8 47.6 82.26 49.21 76.87
Meta Llama 3.1 8B 63.51 66.26 57.85 49.96 81.98 46.8 82.54 45.16 77.51
Olmo2 7B 66.17 63.96 64.51 68.01 81.93 49.2 81.39 43.32 77.03
IBM Granite v3 8B 67.47 65.45 63.74 62.55 83.29 47.6 83.41 52.89 80.82
Gemma2 9B 68.38 72.29 68.26 67.4 82.56 47.8 83.24 45.39 80.11
Qwen2.5 7B 70.58 75.41 63.82 83.24 80.23 48.40 81.28 56.34 75.93

HF LLM-V2** :

模型 平均 MMLU-PRO BBH GPQA IFEval MATH Lvl 5 MuSR
Bamba 9B 10.91 17.53 17.4 4.14 15.16 1.66 9.59
Meta Llama 3.1 8B 14.27 25.46 25.16 8.61 12.55 5.14 8.72
Olmo2 7B 13.36 22.79 21.69 4.92 16.35 4.38 10.02
IBM Granite v3 8B 21.14 25.83 28.02 9.06 44.79 9.82 9.32
Gemma2 9B 21.79 34.84 34.81 11.07 21.28 13.44 15.3
Qwen2.5 7B 25.13 37.62 35.62 9.96 34.77 18.35 14.6

安全性評估

安全性基準測試對確保 AI 模型生成合乎道德、包容且無害的內容至關重要。我們使用廣為人知的安全性基準測試評估模型,例如 Toxigen(5-shot、logits;著重偵測有害語言)、BBQ(5-shot、生成)、PopQA(5-shot、生成),以及 CrowS-Pairs(5-shot、logits;衡量偏見與公平性)。我們計劃採用全面的 SFT 和 DPO 方法處理這些安全性不足之處。

模型 PopQA Toxigen BBQ Crow-SPairs*
Bamba 9B 20.5 57.4 44.2 70.8
Meta Llama 3.1 8B 28.77 67.02 59.97 70.84
IBM Granite v3 8B 27.5 79.9 82.1 75
Olmo2 7B 25.7 63.1 58.4 72
Olmo1.5 7B 20.4 56.7 53.3 72.2
Gemma2 9B 27.3 69.6 59.9 71.7
Qwen2.5 7B 18.2 64.1 78.1 70

*數值愈低愈好

與 tokens 預算相近的 Transformer 模型比較

我們挑選幾款具代表性的模型:使用相同資料訓練的 Olmo 7B(2024)、Meta Llama 2 7B(2023),以及 IBM Granite 7B(2023),三者均以約 2T tokens 訓練。在這些 Transformer 模型中,Olmo 7B 在 8 項主要基準測試的平均分數最高。Bamba-9B 的表現勝過以相同 tokens 數量和資料集訓練的 Olmo 7B。由於 Bamba-9B 有 9B 參數,直接比較仍有難度,但重點是,混合式 Mamba2 模型與使用相近 tokens 預算訓練的 Transformer 模型具競爭力。

模型 平均 MMLU ARC-C GSM8K Hellaswag OpenbookQA Piqa TruthfulQA Winogrande
Bamba 9B (2.2T) 62.31 60.77 63.23 36.77 81.8 47.6 82.26 49.21 76.87
Olmo1.5 7B (2T) 55.8 53.38 50.51 27.67 79.13 45.2 81.56 35.92 73.09
Bamba 9B (2T) 59.11 59.05 57.25 24.03 83.66 47.6 83.62 38.26 79.4
Meta Llama2 7B (2T) 53.78 46.64 52.65 13.57 78.95 45.2 80.03 38.96 74.27
IBM Granite 7B (2T) 52.07 49.02 49.91 10.84 77.0 40.8 80.14 38.7 70.17

Mamba/Mamba2 比較

與採用 Mamba/Mamba2 架構的語言模型比較

過去 6 個月開始出現多款採用 Mamba/Mamba2 架構的模型(例如 NVIDIA hybrid Mamba2、Codestral Mamba、Falcon Mamba,以及 Zamba 7B v1),進一步提升這些架構的表現,展示其推論效能優勢,並縮窄與 Transformer 模型在基準測試上的差距。我們比較 Bamba-9B、NVIDIA hybrid Mamba2、Zamba 和 Falcon Mamba 的 8 項主要基準測試。

Falcon Mamba 是純 Mamba 模型;Zamba 每 6 個 Mamba 層共用一個注意力層;Bamba-9B 和 NVIDIA 則都是在 Mamba2 層之間穿插完整注意力層的混合式模型。Falcon Mamba 以 5.5T tokens 訓練,整體表現最佳,但在 Mamba 架構真正擅長推論的長上下文任務上表現如何,仍有待探討。Zamba 的訓練 tokens 較少(1T),但採用不同的混合式架構,並使用與基準測試對齊的指令資料集,包括由更強大的語言模型生成的資料。Bamba-9B 和 NVIDIA hybrid Mamba2 相當相似(差異詳見模型架構一節),但 Bamba-9B 以 2.2T tokens 訓練,NVIDIA Hybrid Mamba 則以 3.5T tokens 訓練。

備註:本文撰寫時,Falcon3 Mamba 7B 已推出,成績比 Falcon Mamba 更好。我們計劃善用 Falcon3 Mamba 的經驗,改進下一版 Bamba。

模型 平均 MMLU ARC-C GSM8K Hellaswag OpenbookQA Piqa TruthfulQA Winogrande
Bamba 9B 62.31 60.77 63.23 36.77 81.8 47.6 82.26 49.21 76.87
NVIDIA Mamba2 Hybrid 8B* 58.78 53.6 47.7 77.69 -- 42.8 79.65 38.72 71.27
Zamba 7B 64.36 57.85 55.38 61.33 82.27 46.8 82.21 49.69 79.32
Falcon Mamba 7B 65.31 63.19 63.4 52.08 80.82 47.8 83.62 53.46 78.14

* 結果取自 NVIDIA 論文。

💡 備註:訓練資料集及訓練期間所用 tokens 數量不同,令這些模型難以直接比較。這張表的重點是,混合式 Mamba2 架構能提供具競爭力的結果,訓練效率亦幾乎與 Transformer 相當。此外,即使在 Mamba2 層之間穿插完整注意力層,推論效率仍可大幅提升(理論上最高 5 倍)。我們正使用最新資料集繼續預訓練 Bamba-9B,並計劃隨模型改進發布後續檢查點。

推論效率 ⚡🏎️

KV cache 瓶頸是大型語言模型面對的重大挑戰,因此出現了量化、剪枝,以及 Mamba2、線性 Transformer 和 RetNet 等新架構方案。即使是標準 Transformer,要在大規模環境實現推論效率,通常亦需要自訂核心。Bamba-9B 受惠於社羣提供的核心支援,並透過整合 vLLM 模型服務框架進一步改進。

我們透過這個 PR追蹤 vLLM 整合進度,並在 NVIDIA H100 80GB GPU 上以 Bamba-9B 對 Meta Llama 3.1 8B 作基準測試。輸入大小為 1K tokens,輸出大小介乎 2K 至 64K,並測試不同批次大小;我們量度吞吐量(tokens/秒)和延遲。結果顯示,批次大小和序列長度增加時,Bamba-9B 的吞吐量及延遲表現比 Transformer 模型最多提升 2 至 2.5 倍。這些提升有助改善即時應用和 GPU 使用率;吞吐量比率愈高(>1)、延遲比率愈低(<1)愈理想。

Figure 1
圖 1:Bamba 的吞吐量提升
Figure 2
圖 2:Bamba 的延遲改善

我們的分析顯示,在 H100 NVIDIA GPU 上,當推論轉為受記憶體瓶頸限制時(生產環境通常會出現這種情況),預期可加速 5 倍,詳見附錄算術強度一節。不過,vLLM 目前尚未實現這種加速,主要有三個原因:

  1. Bamba 及任何採用 Mamba2 的架構均不支援分塊預填充
  2. 記憶體配置方式假設使用標準 Transformer KV cache
  3. Mamba2 核心尚未針對 H100 GPU 最佳化

我們正在此處追蹤這些問題。

模型架構

我們以 NVIDIA hybrid Mamba2 為基礎設計模型架構,並作出以下改動。

參數 Bamba 9B NVIDIA hybrid Mamba2 8B
層數 32 29
注意力層數 3 4
Mamba2 層數 29 25
MLP 擴展因子 3.5 4
詞彙表大小 128k 256k
非嵌入參數 8.8B 8.6B
RoPE 是 否
閘控線性單元 是 否

Mamba2 層共有 8B 參數,完整注意力層有 800M,嵌入層則有 1B。隱藏狀態大小為 4K;完整注意力採用 GQA,設有 8 個 KV 頭和 32 個注意力頭;Mamba2 層的頭維度為 64,卷積濾波器大小為 4。兩款模型最主要的差異,是 Bamba-9B 將 NVIDIA hybrid Mamba2 模型的完整注意力層由 4 層減至 3 層,並加入 RoPE 嵌入。

資料

自 The Pile 資料集問世以來,開源資料已有長足進步。我們開始訓練此模型時,最佳開源資料是 Dolma v1.7;Olmo 模型及 Hugging Face 資料團隊的消融實驗已證明其表現相當出色。此後亦推出多個質素更高的開源資料集,例如 DCLM、FineWeb-2 和 Olmo2 mix。

第一階段訓練使用 Dolma v1.7,所選資料配比如下圖所示。第二階段訓練則使用 Fineweb-edu 和 Cosmopedia。我們以原始格式下載這些資料集,並使用 Ray 框架在內部大型 Red Hat Open Shift 叢集上進行 token 化。我們計劃很快發布已 token 化並格式化的 parquet 資料,以便重現實驗。

Datamix

預訓練第一階段的資料配比

預訓練

Bamba 的預訓練分階段進行:我們先以 1.8B 模型規模和 100B tokens 執行多項消融實驗,以確定合適的學習率。研究結果令人鼓舞,因此我們使用 Dolma 混合資料,以 3B 規模將模型訓練至 2T tokens。我們亦以相同資料配比,按 Meta Llama 架構訓練 3B Transformer 模型,發現 Bamba 表現相若或更佳,與 NVIDIA 同期研究的結論一致。最後,我們設計 9B 模型架構,並以相同資料配比重新訓練。所有模型均使用 PyTorch FSDP 訓練。

訓練詳情: 我們使用 cosine 學習率排程,最高學習率為 3e−4,以 2000 個步驟作二次預熱,衰減因子為 0.033,並在 2T tokens 的訓練期間將最終學習率降至 1e−5。最佳化器採用 AdamW,β1 為 0.9、β2 為 0.95。權重衰減為 0.1、序列長度為 4096,全域批次大小為每批 1.5M tokens。我們使用 IBM Cloud Vela 生產叢集的 192 部 A100 GPU,歷時 2 個月訓練此模型。該叢集由 Red Hat OpenShift 管理。訓練工作曾中斷 3 次,原因是工作部署錯誤及硬件故障;硬件相關的工作故障由 autopilot 自動偵測。

我們亦使用 Hugging Face FineWeb-edu 和 Cosmopedia 的高質素資料進行第二階段訓練,額外訓練 200B tokens。學習率為 2e−5,並使用 cosine 排程逐步降低,令分數有所提升。我們正試驗更多高質素資料,日後推出的檢查點亦會秉承開源承諾一併發布。

資料載入器

要訓練高質素語言模型有多個重要環節,資料載入器是其中之一。過去 18 個月,我們一直開發符合大型分散式訓練需求的資料載入器,並將其開源,讓其他人可配合自己選用的框架使用。我們已在 Bamba 模型訓練中採用,並整合至 Torch Titan。據我們所知,至今只有這款開源資料載入器提供如此豐富的功能。

資料載入器提供以下主要功能:

  1. 具狀態且支援檢查點,確保可在 epoch 中途順暢恢復
  2. 自動重新調整,配合工作負載和 GPU 配置變化
  3. 資料串流,以零額外開銷進行隨機洗牌
  4. 支援非同步分散式運作,無需點對點通訊
  5. 支援動態混合資料及即時 token 化
  6. 原生支援 PyTorch,並具備模組化及可擴充特性

我們已在數以百計的訓練工作中實戰驗證此資料載入器,並持續運作數月加以最佳化。主要程式碼位於我們儲存庫的此處;我們亦與 Torch Titan 團隊合作,將其放在此處。我們正與 Meta PyTorch 團隊合作,把此資料載入器納入 PyTorch 核心。

量化

我們最近開源了一套模型量化框架,並透過此框架使用 llm-compressor 將 Bamba 檢查點量化為 fp8。在 OpenLLM 排行榜的所有基準測試中,準確度損失都很小。具體而言,Bamba 9B 的 V1 平均分數只出現可忽略的 0.1 差異(由 62.31 變為 61.5);V2 平均分數則下降 0.9(由 10.91 變為 10.04)。量化檢查點亦與 bf16 版本一同發布。這亦驗證 Bamba 模型和 SOTA Transformer 模型一樣適合量化。

我們正為此模型啟用 vLLM 的 fp8 推論支援,當中需要更新核心。線性層和完整注意力層較容易處理,但 Mamba2 層需要更新 Triton/CUDA 核心,才能支援 fp8。

延伸上下文長度

我們正探索多種延伸長上下文的方法,首先會在完整注意力層套用 LongRope。以 PhoneBook 檢索作任務的初步結果顯示,LongRoPE 可應用於此模型。我們將 Bamba-9B 的上下文長度延伸 4 倍和 8 倍,並將延伸上下文後的 Bamba-9B 與三個 Meta Llama 版本比較:LLama2、Llama3、LLama3.1,其訓練上下文長度分別為 4K、8K 和 128K。結果如下圖所示。

Datamix

我們觀察到,無需任何調整,延伸上下文後的 Bamba-9B 在 16K 上下文長度以內表現出色,大幅勝過原版 Bamba-9B、Llama2-7B 和 Llama3-8B,並與 Llama3.1-8B 表現相若。序列長度達 32K 時,LLama3.1 的成績最佳。我們計劃在長上下文版本準備就緒後發布。

總結 🎯

Bamba-9B 由 IBM、Princeton、CMU 和 UIUC 合作開發,是一款表現出色的混合式 Mamba2 模型。模型完全以開放資料集訓練,我們將發布中途及最終檢查點。為促進社羣實驗,模型已可即時用於 transformers、vLLM、TRL 和 llama.cpp。我們亦發布微調、訓練和延伸預訓練配方,以及具狀態的資料載入器,歡迎社羣進一步改良此模型。

重點摘要:

  • 推論效率:Bamba-9B 大幅提升吞吐量和延遲表現,增強即時應用效能。以 vLLM 與 Llama 3.1 8B 比較的基準測試顯示,吞吐量提升 2.5 倍、延遲改善 2 倍,後續還有更多成果!

  • 基準測試表現具競爭力:Bamba-9B 與 Meta Llama 3.1 8B 等最先進(SoTA)Transformer 模型表現相若。不計數學和 MMLU 任務時,平均基準測試表現與它們相當;透過延長訓練及採用聚焦數學的資料集,仍有機會縮窄差距。

  • 開放協作:模型開發使用開放資料,促進 AI 社羣的透明度和可重現性。

如欲瞭解詳情及取得模型和相關資源,請瀏覽 Bamba GitHub 儲存庫。

未來工作

我們打算探索多個方向,進一步提升推論效率的 Mamba2 混合式架構:

  1. 透過使用更多資料持續預訓練,繼續改良模型;歡迎社羣提供意見,讓我們一同打造出色的 Mamba2 混合式模型。
  2. 使用 Tuluv3、agent instruct 和 Anteater 等 SFT 資料集,對基礎模型進行 SFT,並與其他最先進的指令微調模型比較。
  3. 與社羣合作,讓模型支援 vLLM。分塊預填充及此架構的記憶體配置問題是關鍵。
  4. 啟用 fp8 核心,進一步加快推論。
  5. 改善訓練速度,並應用 torch.compile 及 fp8 訓練;我們團隊已與 Meta 合作,在 Transformer 架構上示範這兩項技術。
  6. 將上下文長度延伸至 1M+

貢獻者

  • 資料收集及整理:感謝 AllenAI 團隊提供高質素開源資料集 Dolma,以及 Hugging Face 資料團隊提供 FineWeb-edu 和 Cosmopedia。這些重大貢獻令我們得以建立此模型。
  • 資料前處理:感謝 IBM 內部資料前處理團隊,特別是 Tuan Hoang Trong、Syed Zawad、Jay Gala 和 Ryan Gordon,協助大規模 token 化。token 化程式碼可在此處取得。
  • 模型架構:模型架構由 Princeton、CMU、IBM 和 UIUC 共同設計,參與人員包括:Tri Dao(Princeton)、Albert Gu(CMU)、Linsong Chu(IBM)、Davis Wertheimer(IBM)、Minjia Zhang(UIUC)、Mudhakar Srivatsa(IBM)和 Raghu Ganti(IBM)。
  • 模型訓練:模型主要由 IBM 團隊使用 Tri Dao 和 Albert Gu 編寫的 Mamba2 核心及層實作進行訓練。主要參與的 IBM 成員包括 Linsong Chu、Divya Kumari、Davis Wertheimer、Raghu Ganti 和 Dakshi Agrawal。
  • 模型微調:IBM 團隊的 Sukriti Sharma 和 Anh Uong 在 TRL 中啟用並驗證模型微調。
  • 模型推論:模型在 transformers、vLLM 和 llama.cpp 中的推論功能,建基於 Princeton 和 CMU 編寫的核心。IBM 團隊正與社羣合作,讓模型能在不同生態系統中使用。團隊成員包括 Fabian Lim、Antoni viros i Martin、Adnan Hoque、Jamie Yang、Nelson Nimura Gonzalez、Joshua Rosenkranz、Nick Hill 和 Gabe Goodhart。
  • 量化:量化工作由 IBM 團隊的 Naigang Wang 和 Charlie Liu 領導。
  • 評估:評估工作由 IBM 團隊負責,長上下文評估則由 UIUC 執行;參與人員包括 Yotam Perlitz、Ofir Arviv、Michal Shmueli-Scheuer(IBM)、Haoechen Shen 和 Minjia Zhang(UIUC)。

最後,感謝領導層支持這項工作:Priya Nagpurkar、David Cox、Sriram Raghavan、Aya Soffer、Ruchir Puri 和 Mukesh Khare。

我們亦感謝社羣,尤其是 Hugging Face 的 Pablo Montalvo-Leroux、Aritra Roy Gosthipaty 和 Vaibhav Srivastav,以及 Contextual AI 的 Stas Bekman,為本文和 transformers 的 PR 提供寶貴意見。此外,亦感謝 Neural Magic 的 Tyler Michael Smith 協助推進 vLLM 整合。

衷心感謝 Meta PyTorch、AllenAI 和 Hugging Face 團隊對開放倡議的貢獻;PyTorch FSDP 讓我們順利訓練此模型,而 Dolma 和 Fineweb/Cosmopedia 的資料亦令模型得以面世!

附錄:算術強度

使用以下符號:
$b$: 批次大小
$s$: 序列長度
$h$: 隱藏狀態大小 (4096)
$d$: 頭維度 (128)
$l$: 總層數 (32)
$l_{attn}$: 注意力層數 (3)
$l_{ssd}$: SSD 層數 (29)

Attention 和 Bamba 模型均採用 4:1 的 GQA(用於注意力層)、3.5 的 MLP 擴展比例,並在 MLP 區塊中使用 GLU。Bamba 的 SSD 層設定為狀態維度等於 $d$、頭維度等於 $d/2$,頭數 = $4h/d$。不計嵌入層的模型大小如下:

模型類型 模型大小
attention $13h^2l$
Bamba $15.5h^2l$

在預填充階段,模型所需的運算及記憶體(讀取 + 寫入)資源如下:

模型類型 預填充運算量 預填充記憶體
attention $26bsh^2l + 4bs^2hl$ $13h^2l + 0.5bshl$
Bamba $31bsh^2l + 4bs^2hl_{attn} + 4bsdhl_{ssd}$ $15.5h^2l + 0.5bshl_{attn} + 4bdhl_{ssd}$

在解碼階段,模型所需的運算及記憶體(讀取 + 寫入)資源如下:

模型類型 解碼運算量 解碼記憶體
attention $26bh^2l + 4bshl$ $13h^2l + 0.5bshl$
Bamba $31bh^2l + 4bshl_{attn} + 4bdhl_{ssd}$ $15.5h^2l + 0.5bshl_{attn} + 4bdhl_{ssd}$

下圖比較 Bamba 和 LLaMa 模型在預填充階段的運算 FLOPs,以及解碼階段的記憶體(讀取 + 寫入)大小。請注意,比率低於 1 較理想。由於推論吞吐量主要受解碼階段限制,序列長度較大(> 16K)時,Bamba 相較 LLaMa 的潛在加速幅度為 5 倍。目前在 vLLM 的量度結果約為 2.5 倍,我們預期不久後會有所提升。

ArithmeticIntensity

來源:Hugging Face Blog · huggingface.co