跳到正文
Hugging Face Blog·· 2025-03-18精選AI 評分63

Xet 儲存進入 Hugging Face Hub,首批倉庫完成 4.5 TB 遷移

Xet is on the Hub

AI 導讀

Hugging Face 已將首批模型與數據集倉庫由 LFS 遷移至 Xet 儲存,總量 4.5 TB,並把 Hub 約 6% 的下載流量切至 Xet 基礎設施。

推薦理由

文章以首批倉庫遷移為例,交代下載開銷與節點負載失衡如何在真實流量下浮現,以及分階段遷移如何避免服務中斷。

正文 · 繁體中文

想略過細節,直接體驗前所未有的大型檔案高速上下載?

按此瞭解如何加入 Xet 等候名單(或立即前往加入)。

過去數星期,Hugging Face 的 Xet 團隊邁出重要一步,將首批模型和資料集儲存庫從 LFS 遷移至 Xet 儲存。

這是實現 Hugging Face Hub 願景的眾多步驟之一,讓 AI 建構者能更有效率地建構、迭代並協作處理大型模型和資料集。如想深入瞭解技術本身,請參閲以下文章:

不過,本文並非介紹核心技術,而是從幕後角度回顧如何把 Xet 引入 Hub,帶你瞭解我們從概念驗證到首次遷移儲存庫的過程。

這次遷移把 Hub 約 ~6% 的下載流量轉移至 Xet 基礎設施,驗證了多個關鍵組件,並測試了各種儲存庫存取方式的整合(例如透過本機開發環境、不同函式庫、CI 系統、雲端平台等)。近兩百萬名開發者正在處理超過兩百萬個公開儲存庫,真實世界的使用情況才是最終試金石。設計 Xet 這類複雜系統需要取得平衡:規劃時須考慮規模、效能和可靠性,但資料開始傳輸後,各種挑戰便會浮現。關鍵是知道何時應從設計和理論轉向實踐。

Xet 的不同之處

LFS 是目前儲存庫背後的儲存系統,會把大型檔案存放在儲存庫以外的獨立物件儲存空間。LFS 在檔案層級去重,即使只修改少量內容,也要完整上載新版本;對 Hub 許多儲存庫中的多 GB 檔案而言,這十分費時。

相反,Xet 儲存會使用內容定義分塊(CDC),在位元組層級去重(資料區塊約 ~64KB)。無論你修改 Parquet 檔案中的一列,還是微調 GGUF 模型中的少量中繼資料,只有變更部分會經網絡傳送。

這對大型檔案傳輸帶來顯著好處。例如,Xet 團隊有一個內部使用的約 ~5 GB SQLite 資料庫,為指標儀錶板提供資料。使用 LFS 時,追加 1 MB(目前每次更新的平均大小)就需要重新上載整個 5 GB 檔案;使用 Xet 儲存則只需傳送新增資料。

SQLite Dedupe from one version to another
以下是使用 dedupe_estimator(估算檔案間可進行區塊層級去重的工具)進行的兩次近期測試比較。紅色區塊表示使用 Xet 時需要上載的內容。

這表示儀錶板資料只需十分之一秒便可上載(速度為 50Mb/s);若資料庫採用 LFS,則需時 13 分鐘。

要實現這項功能,需要以下組件互相協調:

  1. 支援 Xet 的用戶端
    • 把資料拆分成約 ~64 KB 的區塊。
    • 在本機對相同區塊去重,並在上載前將它們彙整成約 ~64 MB 的資料塊。
  2. Hugging Face Hub
    • 接收用戶端請求,並將請求路由至正確的儲存庫。
    • 提供驗證和安全保障
  3. 內容定址儲存(CAS)
    • 強制在上載和下載時按區塊去重。
    • 包含 LFS Bridge,支援較舊、未使用 Xet 的用戶端;它會模擬傳統 LFS 伺服器,並為下載提供單一 URL。
  4. Amazon S3
    • 儲存檔案內容(資料塊)及重建檔案所需的中繼資料(分片)。
    • 提供由 CAS 引用、最終持久化的資料層

投入生產環境前,系統先部署到短暫環境;我們在其中建構了完整的功能測試路徑,讓使用者可透過 huggingface_hub 上載和下載。下方影片展示了我們經過一個月後的進度:

快速概念驗證帶來的高漲情緒過後,團隊開始處理 Hub 這個複雜生態系統中的棘手整合問題(私隱、向後相容性、碎片化等)。最終,基礎設施投入生產環境,供 Hugging Face 團隊成員使用。真實使用流量開始湧入後,我們便著手進行首次大規模遷移。

遷移日

2 月 20 日上午 10 時,所有人都投入工作。此前數星期,團隊已開發好內部工具,可將檔案從 LFS 遷移至 Xet,亦可在有需要時把儲存庫還原至 LFS,後者同樣重要。現在是時候實際測試工具。Grafana 和 Kibana 出現新的日誌和指標,即時顯示負載轉移情況。

Grafana the day of the migration
Grafana 顯示送達 Xet 的請求。

Kibana 顯示的情況也一樣,只是你可以從中看到我們何時去吃午飯:

Grafana the day of the migration
Kibana 顯示送達 Xet 的請求。

當天結束前,我們已成功把所有目標儲存庫遷移至 Xet Storage,總計 4.5 TB。此後,各儲存庫的下載都由我們的基礎設施提供。

遷移後的挑戰

每次推出都會帶來教訓。系統順利承受負載,遷移過程也沒有重大事故;不過,當資料流經不同組件時,我們開始發現一些趨勢。

資料塊格式造成的下載開銷

檢視遷移後的網絡吞吐量時,我們發現 CAS 下載的資料量是回傳給用戶端的 4 倍:

Grafana throughput metrics before block format change
黃色代表下載量(rx),綠色代表傳送給用戶端的資料量(tx)。

進一步調查後,我們發現 CAS 收到的絕大部分請求,都是讀取檔案中 10MB 範圍的資料。這些請求來自使用 hf_transfer 加速大型檔案下載的用戶。要求的資料範圍不會按資料塊邊界對齊,而資料塊格式亦未提供未壓縮區塊長度,無法直接跳至資料塊內的指定資料。因此,CAS 會從資料塊開頭開始串流讀取,直到找到所需資料。

假設資料塊平均大小為 60MB,而且同一資料塊內有多個部分範圍請求,開銷便會累積。CAS 為傳送 60MB 資料,會讀取 210MB,比例為下載 3.5 bytes 才向用戶端傳送 1 byte。當系統擴展至不同大小的資料塊和跨越多個資料塊的範圍時,下載 4 bytes 才傳送 1 byte 的比例便會出現。

一圖勝過千言萬語:

Graphical representation of block format issue
紅色區塊代表不必要的串流內容;綠色區塊則代表 CAS 實際要求並最終傳送的資料。

為解決問題,我們更新了資料塊格式,加入區塊長度中繼資料,讓 CAS 只需下載每個請求實際需要的內容。這項格式變更需要協調更新以下部分:

  • CAS API
  • 資料塊中繼資料格式
  • S3 上的 2^16 + 1 個資料塊(我發誓這只是巧合)

以上工作全部在沒有停機的情況下完成。這不但平衡了 CAS 下載量與回傳資料量的比例,亦令整體 GET 延遲降低約 ~35%。

Grafana throughput metrics after block format change
下載及傳送資料比例已恢復平衡,整體吞吐量亦有所降低。

Pod 負載不平衡

同一時間,我們亦發現 CAS 叢集出現意料之外的負載不平衡:一個 pod 的活躍上載數會激增至數百個,其他 pod 卻只有個位數。更換負載平衡器的路由演算法(由輪詢改為最少未完成請求),並增加節點,當下都沒有帶來明顯改善。

深入調查後,我們發現上載期間 CAS 會先寫入暫存檔作驗證,然後才上載,但過程中沒有呼叫 fsync,因此作業系統可在頁面快取中緩衝寫入內容。上載請求突然激增時,尚未寫入磁碟的頁面快取會增加記憶體壓力。

作業系統嘗試把頁面快取寫入磁碟時,pod 會受到區塊儲存的吞吐量限制,導致上載延遲增加。上載處理變慢的同時,新請求仍不斷湧入,把更多資料推向磁碟,形成惡性循環,造成上載積壓和遷移期間觀察到的負載不平衡:

Pod load imbalance
下載及傳送資料比例已恢復平衡,整體吞吐量亦有所降低。

為避免 pod 進入這種狀態,我們限制每部機器可同時接受的上載數量;達到上限後便拒絕新請求,讓叢集內其他 pod 處理。如果叢集內所有 pod 都進入這種狀態,自動擴展政策便會啟動。長遠方案可能包括強制同步磁碟、移除磁碟緩衝,或改用吞吐量更高的暫存儲存空間。

遷移心得

這兩個問題促成了重要架構改進,但並非團隊在遷移後數星期內處理的唯一挑戰。我們亦解決了其他效能問題和記憶體洩漏(雖然已修復,但仍無法確定根本原因);此外,按照 AWS 的建議,我們把 LFS Bridge 從 Application Load Balancer(ALB)遷移至 Network Load Balancer(NLB),以改善流量激增時的可擴展性。

經驗教訓

  • 沒有任何環境能媲美生產環境:測試環境無法模擬大規模用戶行為。即使我們仔細完成整合工作,Hugging Face 團隊成員亦測試基礎設施數月,只有在把真實流量導入系統後,才會浮現一些邊界情況。
  • 遷移可模擬真實流量:逐步安排遷移,讓我們在更多流量進入基礎設施前發現這些問題,避免停機和中斷。相比 Hub 從第一天起就全部採用 Xet,管理部分流量和儲存空間容易得多。
  • 累積每次學習成果:我們在數星期內反覆強化基礎設施和系統設計。往後每一個經 Xet 傳輸的位元組和網絡請求,都能受惠於這些經驗。

總括而言,真實世界負載對揭示這些挑戰至關重要,而逐步遷移讓我們能安全地逐一解決問題。這就是我們確保 Xet 儲存庫能可靠擴展至整個 Hugging Face 社羣的方法:加快上載、減少瓶頸,並盡量避免中斷。

準備好。Xet。出發!

首批遷移已完成,Xet 現已登陸 Hugging Face Hub。

Xet speed

我們正完成與 huggingface_hub 的正式整合,讓你毋須大幅改變現有工作流程,便可享用 Xet 的優勢。開始使用的方法如下:

  1. 加入等候名單
    • 以個人或組織帳戶在此登記(組織帳戶須具備管理員/寫入權限)。
    • 獲批後,你建立的新儲存庫會自動採用 Xet 儲存。
    • 我們亦會遷移現有儲存庫,讓你同樣享有更快的傳輸速度。
  2. 使用你慣用的工具
    • hf_xet Python 套件即將加入 huggingface_hub。如果你使用 transformers 或 datasets 函式庫,它們已經使用 huggingface_hub,因此只需在同一環境安裝 hf_xet 即可。安裝步驟和説明文件即將推出。
    • 繼續使用原有指令上載和下載大型檔案。
  3. 享用相關優勢
    • 上載和下載少等一點,大型檔案的迭代速度更快。
    • 團隊所有成員都應升級至 hf_xet,才能享用完整優勢;舊版用戶端則可透過 LFS Bridge 繼續相容。

如有任何問題,歡迎在留言區告訴我們 👇,或在此處的Xet 團隊頁面開啟討論。敬請期待我們推出更多功能(更快的網頁上載、更快的 Git 工作流程),讓 Hugging Face 上的所有 AI 建構者都能更快協作處理大型檔案!

來源:Hugging Face Blog · huggingface.co