跳到正文
AWS Machine Learning Blog· Kanwaljit Khurmi·· 26 天前精選AI 評分66

AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 SOCI 索引映像

Announcing SOCI-indexed images for faster SageMaker AI jobs

AI 導讀

AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 Seekable OCI(SOCI)索引,透過容器映像延遲載入,讓工作數秒內啟動。SageMaker AI 先載入啟動容器所需檔案,再於程式執行期間串流其餘檔案,無須修改工作定義、入口點或資料通道。

推薦理由

文章以不同映像大小及執行個體測試 SOCI 延遲載入,並交代首個 epoch 的額外耗時,方便評估對工作啟動時間的影響。

正文 · 繁體中文

你的深度學習容器映像每多花一分鐘下載,你就多付一分鐘費用,團隊也多等一分鐘。下載容器映像純屬額外開銷:這段時間會計入工作收費,卻不會推進模型訓練。現代深度學習映像體積龐大,每項工作都可能因此多等數分鐘。今天我們很高興宣佈推出 Seekable OCI(SOCI)索引技術,適用於 Amazon SageMaker AI 訓練及 Amazon SageMaker AI 處理工作,讓完整下載容器映像不再佔用每項工作的關鍵路徑。

使用 SOCI 索引後,SageMaker AI 會延遲載入容器映像。它只會先取得啟動容器所需的檔案,並在程式執行期間於背景串流其餘檔案,令工作可在數秒而非數分鐘內開始。你可以選用預先建立索引的 AWS Deep Learning Container(DLC),或為自己的映像加入索引。兩種方法都毋須更改工作定義、進入點或資料通道。這樣可以更快啟動工作、降低工作成本,並讓你把更多時間用來建構模型,而不是等待基礎設施。

經 SOCI 索引的映像可在數秒內啟動 Amazon SageMaker AI 訓練容器,而且不會影響訓練效能。如「測量結果」一節所示,在我們的基準測試中,映像下載期間 GPU 閒置時間最多減少 90%。

本文會説明如何採用 SOCI 索引:它是甚麼、我們測得的結果,以及如何為自己的工作啟用。

面對的挑戰

SageMaker AI 訓練和處理工作會在儲存於 Amazon Elastic Container Registry(Amazon ECR)的容器映像中執行。工作開始執行你的程式前,服務會先把整個映像下載到執行個體,再解壓縮並把每一層寫入磁碟。

小型映像只需數秒便可下載,但深度學習映像動輒超過 10 GB。每項工作都會因此多花數分鐘,而這段時間也會計入工作費用。迭代速度最重要的工作受到的影響最大,例如數百項工作的超參數調校掃描、快速實驗,以及短時間的處理工作;在這些情況下,下載映像可能佔去大部分總執行時間。

SOCI 索引的運作方式

Seekable OCI(SOCI)是一種開源技術,可延遲載入容器映像。執行環境毋須在啟動前下載整個映像,而是使用 SOCI 索引,只先取得立即啟動容器所需的檔案;程式存取其他檔案時,執行環境便在背景串流其餘內容。

SOCI 索引是一種對映映像內每個檔案的中繼資料。你可以把它作為符合 OCI 規範的成品儲存於 Amazon ECR,並連結至原始映像。索引是獨立成品,因此映像摘要及任何現有簽章仍然有效。

SageMaker AI 會自動檢查索引

建立訓練或處理工作時,SageMaker AI 會檢查你指定的映像是否有 SOCI 索引,並按結果採取相應方式:

情況 處理方式
映像包含 SOCI 索引 SageMaker AI 會延遲載入映像,並在完整下載完成前啟動容器
映像沒有 SOCI 索引 使用標準下載方式,行為不變
無法讀取索引,或延遲載入未能成功 工作會改用標準下載方式,並繼續執行

需要時,工作一律會改用標準下載方式,因此加入 SOCI 索引不會阻止工作執行。你只會獲得更快的啟動速度,不會有破壞現有工作流程的風險。

測量結果

我們在真實的 SageMaker AI 訓練工作中,以兩種方式下載相同的容器映像:標準下載,以及經 SOCI 索引的延遲載入。接著,我們分別執行完整訓練工作,測量對訓練速度的影響。

測試設定

  • 八個映像,壓縮後大小為 1.8–35.4 GB。
  • GPU 和 CPU 執行個體:ml.g4dn、ml.g5、ml.g6、ml.g6e、ml.g7、ml.g7e、ml.p4d、ml.p5 及 ml.m7i,規格由 xlarge 至 48xlarge;測試地區為美國西部(俄勒岡)(us-west-2)和美國東部(北維吉尼亞)(us-east-1)。
  • 下載時間:從開始下載映像到容器準備好執行所需的時間。所有數值均為多次測試的中位數。

結果 1:各種映像大小的下載時間都由數分鐘縮短至數秒

映像大小(壓縮後) 標準下載 延遲載入 改善幅度
1.8 GB 48 秒 3-11 秒 約 8x
13.2 GB 3 分 42 秒 約 6 秒 約 34x
35.4 GB 7 分 17 秒 3-11 秒 約 38x

下圖比較八種映像大小(由 1.8 GB 至 35.4 GB)下,標準 Docker pull 與 SOCI 延遲載入容器映像所需的下載時間。

每種映像大小各有兩條柱。Docker 下載時間的藍色柱會隨映像大小穩步增長,由 1.8 GB 映像的 48 秒升至 35.4 GB 映像的 7 分 17 秒。

每對柱上方的加速標示,顯示 Docker 所需時間與 SOCI 所需時間的比例。最小映像約快 10x,最大映像則超過 35x。

Bar chart comparing Docker pull and SOCI lazy-loading download times across eight image sizes, with speedups from about 10x to over 35x

圖 1:八種映像大小下,標準 Docker pull 與 SOCI 延遲載入的容器映像下載時間比較

標準下載時間會隨映像大小增加,因為每個檔案都要解壓縮並寫入磁碟。延遲載入的時間則維持在 3–11 秒,不受映像大小影響,速度提升 8x–46x。映像愈大,節省的時間就愈多。

結果 2:無論執行個體類型和規格為何,都能節省時間

以 13 種執行個體類型/規格組合執行 13.2 GB 映像時,標準下載需時 3 分 16 秒至 4 分 20 秒,延遲載入則只需 6-8 秒。所有設定都快約 34x。你毋須更改執行個體類型或規格,也能受惠。

Chart comparing standard download and SOCI lazy loading for a 13.2 GB image across 13 instance type and size combinations, about 34x faster on each

圖 2:13 種執行個體類型和規格組合下,13.2 GB 映像的下載時間

結果 3:除首個 epoch 的額外開銷外,訓練效能不受影響

我們分別使用 Docker 下載的映像和 SOCI 索引映像執行兩類完整訓練工作,並比較每個 epoch:

  • 使用 ResNet-50 進行影像分類,資料集為 Imagenette(9,469 張影像)
    • 容器映像:PyTorch(13.2 GB DLC)及 TensorFlow(9.9 GB DLC)
    • 執行個體:ml.p5.48xlarge、ml.p4d.24xlarge、ml.g7e.48xlarge、ml.g7.48xlarge、ml.g6e.12xlarge、ml.g6e.24xlarge 及 ml.g6e.48xlarge。
  • 大型語言模型(LLM)微調:全參數監督式微調(SFT),訓練模型為 Qwen2.5-0.5B,使用資料集 alpaca-cleaned(51,760 個樣本),使用 Hugging Face Trainer。
    • 容器映像:9.4 GB Hugging Face PyTorch DLC。
    • 執行個體:ml.p5.48xlarge、ml.p4d.24xlarge、ml.g6.48xlarge。

下圖把工作啟動時間拆分為映像下載時間和首個訓練 epoch 時間,比較兩項工作負載在 GPU 和 CPU 設定下使用標準 Docker pull 與 SOCI 索引映像的情況。

Chart breaking job startup into image download time and first training epoch time, comparing a standard Docker pull with a SOCI-indexed image across GPU and CPU configurations

圖 3:工作啟動時間拆分為映像下載和首個訓練 epoch;比較標準 Docker pull 與 SOCI 索引映像

  • 從第二個 epoch 起,所有執行個體上兩項工作負載的每個 epoch 所需時間都相同(處於每次執行的變動範圍內)。
  • 使用延遲載入映像時,首個 epoch 會多花 3–16 秒,因為框架首次接觸到的檔案需要即時下載。所有執行個體規格的首個 epoch 成本都相同。
  • 總計:每項工作提早完成 1-6 分鐘。這是下載所節省的時間,扣除一次性的首個 epoch 成本後所得,而且每項工作節省的時間固定。

在自己的工作負載上測試

以上數據來自前文所述的兩種工作負載。首個 epoch 的成本視乎映像,以及程式在啟動時會讀取哪些內容:

  • 如果第一個訓練步驟只需要映像的一部分,延遲載入就會帶來效益;其餘內容會在訓練期間串流下載。
  • 如果你的進入點在開始訓練前讀取映像的大部分內容(例如掃描、計算校驗和,或預先載入內容),首個 epoch 就要等候下載大致相同數量的位元組,與完整下載所需的相若,整體改善幅度便會很小。
  • 在我們的測試中,即使啟動時需要預先載入內容,整體結果仍然較快:
    • torch.compile 和即時(JIT)編譯的 CUDA 擴充套件令首個 epoch 多花 7-15 秒(扣除後仍節省 3 分 25 秒至 3 分 56 秒)
    • 映像內建的 6 GB 模型會在載入時串流其權重,令時間增加 2-3.5 分鐘;但使用索引映像的整項工作仍提早 2-2.5 分鐘完成。

開始使用

採用 SOCI 索引有兩種方式:使用已預先建立索引的 AWS Deep Learning Container,或為自己的自訂映像建立索引。

選項 1:使用已預先建立索引的 AWS Deep Learning Container

AWS 已為多款常用 Deep Learning Container 發佈經 SOCI 索引的版本,可透過映像標籤的 -soci 後綴識別:

763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:2.9-gpu-py312-cu130-ubuntu22.04-sagemaker-v1-soci

PyTorch Training、TensorFlow Training、vLLM 和 SGLang 均有預先建立索引的版本,部分框架亦提供 arm64 版本。若要採用延遲載入,請在工作定義中把映像標籤更新為 -soci 版本。你可在AWS Deep Learning Containers Gallery瀏覽完整清單。

注意:如果你的自訂映像是 FROM DLC 基礎映像建置而成,就必須為最終映像建立 SOCI 索引。基礎映像的索引不會沿用至衍生映像。

選項 2:為自己的映像建立 SOCI 索引

若要為自訂映像建立索引,你需要一部 Linux 主機(例如執行 Amazon Linux 2023 的 Amazon Elastic Compute Cloud(Amazon EC2)執行個體),並安裝 containerd、SOCI snapshotter,以及 Finch 或 nerdctl。

  1. 設定環境變數.
    ACCOUNT_ID="111122223333"
    REGION="us-east-1"
    REPOSITORY_NAME="my-training-image"
    ORIGINAL_IMAGE_TAG="v1.0"
    SOCI_IMAGE_TAG="v1.0-soci"
    REGISTRY="$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com"
  2. 安裝必要工具.
    sudo dnf install -y containerd fuse soci-snapshotter runfinch-finch
    sudo systemctl start soci-snapshotter
    sudo systemctl restart containerd
  3. 向 Amazon ECR 進行身份驗證.
    aws ecr get-login-password --region "$REGION" \
      | sudo nerdctl login -u AWS --password-stdin "$REGISTRY"
  4. 拉取原始映像.
    sudo nerdctl pull "$REGISTRY/$REPOSITORY_NAME:$ORIGINAL_IMAGE_TAG"
  5. 建立 SOCI 索引映像.
    sudo nerdctl image convert --soci \
      "$REGISTRY/$REPOSITORY_NAME:$ORIGINAL_IMAGE_TAG" \
      "$REGISTRY/$REPOSITORY_NAME:$SOCI_IMAGE_TAG"
  6. 推送已索引映像.
    sudo nerdctl push --platform linux/amd64 \
      "$REGISTRY/$REPOSITORY_NAME:$SOCI_IMAGE_TAG"

這會在你的儲存庫中建立兩項成品:SOCI 索引,以及一份符合 OCI 規範、可把映像連結至索引的映像索引資訊清單。原始映像及其摘要都不會改變。

在 CI/CD 中自動建立索引

若要在每次推送時自動產生索引,請部署CFN ECR SOCI Index Builder。它會使用Amazon EventBridge規則偵測 Amazon ECR 映像推送事件,並建立索引。你毋須更改建置流程。

在 SageMaker AI 工作中使用已索引映像

像使用其他映像一樣指定經 SOCI 索引的映像即可。毋須更改 API,只需更改標籤。

訓練範例(SageMaker Python SDK)

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute

trainer = ModelTrainer(
    training_image="111122223333.dkr.ecr.us-east-1.amazonaws.com/my-training-image:v1.0-soci",
    role="arn:aws:iam::111122223333:role/SageMakerExecutionRole",
    compute=Compute(
        instance_type="ml.g5.12xlarge",
        instance_count=2,
    ),
)

trainer.train()

確認映像包含 SOCI 索引

啟動前,確認你的標籤指向已索引的映像:

aws ecr batch-get-image \
  --repository-name "$REPOSITORY_NAME" \
  --image-ids imageTag="$SOCI_IMAGE_TAG" \
  --accepted-media-types \
  "application/vnd.oci.image.index.v1+json" \
  --query 'images[0].imageManifest' --output text \
  | jq '.manifests[] | {mediaType, artifactType}'

檢查是否有一份子資訊清單,其 artifactType 以 application/vnd.amazon.soci.index. 開頭,並且與平台資訊清單並列。如果找不到,該標籤就沒有指向已索引的映像。

注意事項

  • 只適用於 Amazon ECR 私有儲存庫。其他登錄檔中的映像,或透過私有 Docker 登錄檔拉取的映像(TrainingRepositoryAccessMode 設為 Vpc),均不符合延遲載入資格。
  • 改善幅度隨映像大小而增加。小於約 4 GB 的映像,改善幅度相對較小。
  • 檢查依賴 Docker 特性的假設。經 SOCI 索引的映像會在以 containerd 為基礎的執行環境中運作。請檢查進入點和設定指令碼,找出呼叫 Docker CLI、讀取 /var/run/docker.sock,或從 cgroup 路徑推導識別碼的程式碼。SageMaker AI 會掛載 /.dockerenv 標記以保持向後相容,但請避免新增依賴它的程式。
  • 所有 AWS 區域均可使用 SageMaker AI 工作的 SOCI 索引功能。

總結

使用 SOCI 索引,你可以縮短 SageMaker AI 訓練和處理工作下載容器映像所需的時間。你可以為自己的映像加入 SOCI 索引,或改用已預先建立索引的 AWS Deep Learning Container。無論採用哪種方式,都可以把啟動時間由數分鐘縮短至數秒、降低工作總成本,並加快機器學習(ML)迭代週期。現有工作定義、API 呼叫和資料管線則完全維持不變。

如欲進一步瞭解Amazon SageMaker AI並開始使用 SOCI 索引,請參閲以下資源:

  1. 選用經 SOCI 索引的 Deep Learning Container。瀏覽Deep Learning Containers Gallery,並在映像標籤後加上 -soci。框架專屬指引請參閲AWS Deep Learning Containers 的 SOCI 索引。
  2. 為自己的自訂映像建立索引。請依照SageMaker AI Developer Guide的逐步指南操作,或參閲SOCI snapshotter 入門指南瞭解進階選項。
  3. 在 CI/CD 流程中自動建立索引。部署CFN ECR SOCI Index Builder,即可在每次推送映像時自動產生索引,毋須更改流程。
  4. 使用 Finch 在本機測試。使用Finch 延遲載入指南,在提交工作前於 containerd 執行環境驗證映像。
  5. 深入瞭解技術。請參閲 AWS Machine Learning Blog 上的使用 DLAMI 和 DLC 的 SOCI 索引縮短容器冷啟動時間瞭解基準測試,或閲讀 AWS Containers Blog 上的深入解析:使用 Seekable OCI 和 AWS Fargate 延遲載入容器映像,進一步瞭解延遲載入機制。

只需更換映像標籤,就能加快容器啟動。下次執行 SageMaker AI 工作時試試看,親自比較效果。


作者介紹

Kanwaljit Khurmi

Kanwaljit Khurmi

Kanwaljit 是 Amazon Web Services 的解決方案架構及數據科學資深經理,專長為 AI 和 ML。他與 AWS 產品團隊、工程團隊及客戶合作,為客戶在 AWS 上充分發揮混合式 GenAI 解決方案的價值,提供指引和技術支援。Kanwaljit 專門協助客戶處理容器化、數據科學及機器學習應用程式。

Mona Mona

Mona Mona

Mona 現任 Amazon 的 AI/ML 資深專家解決方案架構師。她出版過三本書,最新一本是《AI Agents on AWS》。她已撰寫 20+ 篇關於 AI/ML 和雲端技術的網誌,並與人合著一篇有關 CORD19 Neural Search 的研究論文;該論文於知名的 AAAI(Association for the Advancement of Artificial Intelligence)會議獲選為最佳研究論文。

Michael Oguike

Michael 是 Amazon SageMaker AI 的產品經理。他致力運用科技和 AI 解決現實問題。在 AWS,他協助各行各業的客戶大規模建置、訓練和部署 AI/ML 模型。加入 AWS 前,Michael 曾設計和營運海上石油及天然氣井與設施。工作以外,他喜歡透過書籍和 podcast 探索行為科學與心理學。

Deep Shah

Deep Shah

Deep 是 Amazon SageMaker 團隊的軟件開發工程師,負責支援 AWS 模型訓練的基礎設施。他不忙於擴展訓練系統時,喜歡模擬賽車、閲讀和旅行。

來源:AWS Machine Learning Blog · aws.amazon.com