AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 SOCI 索引映像
Announcing SOCI-indexed images for faster SageMaker AI jobs
AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 Seekable OCI(SOCI)索引,透過容器映像延遲載入,讓工作數秒內啟動。SageMaker AI 先載入啟動容器所需檔案,再於程式執行期間串流其餘檔案,無須修改工作定義、入口點或資料通道。
文章以不同映像大小及執行個體測試 SOCI 延遲載入,並交代首個 epoch 的額外耗時,方便評估對工作啟動時間的影響。
你的深度學習容器映像每多花一分鐘下載,你就多付一分鐘費用,團隊也多等一分鐘。下載容器映像純屬額外開銷:這段時間會計入工作收費,卻不會推進模型訓練。現代深度學習映像體積龐大,每項工作都可能因此多等數分鐘。今天我們很高興宣佈推出 Seekable OCI(SOCI)索引技術,適用於 Amazon SageMaker AI 訓練及 Amazon SageMaker AI 處理工作,讓完整下載容器映像不再佔用每項工作的關鍵路徑。
使用 SOCI 索引後,SageMaker AI 會延遲載入容器映像。它只會先取得啟動容器所需的檔案,並在程式執行期間於背景串流其餘檔案,令工作可在數秒而非數分鐘內開始。你可以選用預先建立索引的 AWS Deep Learning Container(DLC),或為自己的映像加入索引。兩種方法都毋須更改工作定義、進入點或資料通道。這樣可以更快啟動工作、降低工作成本,並讓你把更多時間用來建構模型,而不是等待基礎設施。
經 SOCI 索引的映像可在數秒內啟動 Amazon SageMaker AI 訓練容器,而且不會影響訓練效能。如「測量結果」一節所示,在我們的基準測試中,映像下載期間 GPU 閒置時間最多減少 90%。
本文會説明如何採用 SOCI 索引:它是甚麼、我們測得的結果,以及如何為自己的工作啟用。
面對的挑戰
SageMaker AI 訓練和處理工作會在儲存於 Amazon Elastic Container Registry(Amazon ECR)的容器映像中執行。工作開始執行你的程式前,服務會先把整個映像下載到執行個體,再解壓縮並把每一層寫入磁碟。
小型映像只需數秒便可下載,但深度學習映像動輒超過 10 GB。每項工作都會因此多花數分鐘,而這段時間也會計入工作費用。迭代速度最重要的工作受到的影響最大,例如數百項工作的超參數調校掃描、快速實驗,以及短時間的處理工作;在這些情況下,下載映像可能佔去大部分總執行時間。
SOCI 索引的運作方式
Seekable OCI(SOCI)是一種開源技術,可延遲載入容器映像。執行環境毋須在啟動前下載整個映像,而是使用 SOCI 索引,只先取得立即啟動容器所需的檔案;程式存取其他檔案時,執行環境便在背景串流其餘內容。
SOCI 索引是一種對映映像內每個檔案的中繼資料。你可以把它作為符合 OCI 規範的成品儲存於 Amazon ECR,並連結至原始映像。索引是獨立成品,因此映像摘要及任何現有簽章仍然有效。
SageMaker AI 會自動檢查索引
建立訓練或處理工作時,SageMaker AI 會檢查你指定的映像是否有 SOCI 索引,並按結果採取相應方式:
| 情況 | 處理方式 |
| 映像包含 SOCI 索引 | SageMaker AI 會延遲載入映像,並在完整下載完成前啟動容器 |
| 映像沒有 SOCI 索引 | 使用標準下載方式,行為不變 |
| 無法讀取索引,或延遲載入未能成功 | 工作會改用標準下載方式,並繼續執行 |
需要時,工作一律會改用標準下載方式,因此加入 SOCI 索引不會阻止工作執行。你只會獲得更快的啟動速度,不會有破壞現有工作流程的風險。
測量結果
我們在真實的 SageMaker AI 訓練工作中,以兩種方式下載相同的容器映像:標準下載,以及經 SOCI 索引的延遲載入。接著,我們分別執行完整訓練工作,測量對訓練速度的影響。
測試設定
- 八個映像,壓縮後大小為 1.8–35.4 GB。
- GPU 和 CPU 執行個體:ml.g4dn、ml.g5、ml.g6、ml.g6e、ml.g7、ml.g7e、ml.p4d、ml.p5 及 ml.m7i,規格由 xlarge 至 48xlarge;測試地區為美國西部(俄勒岡)(us-west-2)和美國東部(北維吉尼亞)(us-east-1)。
- 下載時間:從開始下載映像到容器準備好執行所需的時間。所有數值均為多次測試的中位數。
結果 1:各種映像大小的下載時間都由數分鐘縮短至數秒
| 映像大小(壓縮後) | 標準下載 | 延遲載入 | 改善幅度 |
| 1.8 GB | 48 秒 | 3-11 秒 | 約 8x |
| 13.2 GB | 3 分 42 秒 | 約 6 秒 | 約 34x |
| 35.4 GB | 7 分 17 秒 | 3-11 秒 | 約 38x |
下圖比較八種映像大小(由 1.8 GB 至 35.4 GB)下,標準 Docker pull 與 SOCI 延遲載入容器映像所需的下載時間。
每種映像大小各有兩條柱。Docker 下載時間的藍色柱會隨映像大小穩步增長,由 1.8 GB 映像的 48 秒升至 35.4 GB 映像的 7 分 17 秒。
每對柱上方的加速標示,顯示 Docker 所需時間與 SOCI 所需時間的比例。最小映像約快 10x,最大映像則超過 35x。
圖 1:八種映像大小下,標準 Docker pull 與 SOCI 延遲載入的容器映像下載時間比較
標準下載時間會隨映像大小增加,因為每個檔案都要解壓縮並寫入磁碟。延遲載入的時間則維持在 3–11 秒,不受映像大小影響,速度提升 8x–46x。映像愈大,節省的時間就愈多。
結果 2:無論執行個體類型和規格為何,都能節省時間
以 13 種執行個體類型/規格組合執行 13.2 GB 映像時,標準下載需時 3 分 16 秒至 4 分 20 秒,延遲載入則只需 6-8 秒。所有設定都快約 34x。你毋須更改執行個體類型或規格,也能受惠。
圖 2:13 種執行個體類型和規格組合下,13.2 GB 映像的下載時間
結果 3:除首個 epoch 的額外開銷外,訓練效能不受影響
我們分別使用 Docker 下載的映像和 SOCI 索引映像執行兩類完整訓練工作,並比較每個 epoch:
- 使用 ResNet-50 進行影像分類,資料集為 Imagenette(9,469 張影像)
- 容器映像:PyTorch(13.2 GB DLC)及 TensorFlow(9.9 GB DLC)
- 執行個體:ml.p5.48xlarge、ml.p4d.24xlarge、ml.g7e.48xlarge、ml.g7.48xlarge、ml.g6e.12xlarge、ml.g6e.24xlarge 及 ml.g6e.48xlarge。
- 大型語言模型(LLM)微調:全參數監督式微調(SFT),訓練模型為 Qwen2.5-0.5B,使用資料集 alpaca-cleaned(51,760 個樣本),使用 Hugging Face Trainer。
- 容器映像:9.4 GB Hugging Face PyTorch DLC。
- 執行個體:ml.p5.48xlarge、ml.p4d.24xlarge、ml.g6.48xlarge。
下圖把工作啟動時間拆分為映像下載時間和首個訓練 epoch 時間,比較兩項工作負載在 GPU 和 CPU 設定下使用標準 Docker pull 與 SOCI 索引映像的情況。
圖 3:工作啟動時間拆分為映像下載和首個訓練 epoch;比較標準 Docker pull 與 SOCI 索引映像
- 從第二個 epoch 起,所有執行個體上兩項工作負載的每個 epoch 所需時間都相同(處於每次執行的變動範圍內)。
- 使用延遲載入映像時,首個 epoch 會多花 3–16 秒,因為框架首次接觸到的檔案需要即時下載。所有執行個體規格的首個 epoch 成本都相同。
- 總計:每項工作提早完成 1-6 分鐘。這是下載所節省的時間,扣除一次性的首個 epoch 成本後所得,而且每項工作節省的時間固定。
在自己的工作負載上測試
以上數據來自前文所述的兩種工作負載。首個 epoch 的成本視乎映像,以及程式在啟動時會讀取哪些內容:
- 如果第一個訓練步驟只需要映像的一部分,延遲載入就會帶來效益;其餘內容會在訓練期間串流下載。
- 如果你的進入點在開始訓練前讀取映像的大部分內容(例如掃描、計算校驗和,或預先載入內容),首個 epoch 就要等候下載大致相同數量的位元組,與完整下載所需的相若,整體改善幅度便會很小。
- 在我們的測試中,即使啟動時需要預先載入內容,整體結果仍然較快:
- torch.compile 和即時(JIT)編譯的 CUDA 擴充套件令首個 epoch 多花 7-15 秒(扣除後仍節省 3 分 25 秒至 3 分 56 秒)
- 映像內建的 6 GB 模型會在載入時串流其權重,令時間增加 2-3.5 分鐘;但使用索引映像的整項工作仍提早 2-2.5 分鐘完成。
開始使用
採用 SOCI 索引有兩種方式:使用已預先建立索引的 AWS Deep Learning Container,或為自己的自訂映像建立索引。
選項 1:使用已預先建立索引的 AWS Deep Learning Container
AWS 已為多款常用 Deep Learning Container 發佈經 SOCI 索引的版本,可透過映像標籤的 -soci 後綴識別:
763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:2.9-gpu-py312-cu130-ubuntu22.04-sagemaker-v1-sociPyTorch Training、TensorFlow Training、vLLM 和 SGLang 均有預先建立索引的版本,部分框架亦提供 arm64 版本。若要採用延遲載入,請在工作定義中把映像標籤更新為 -soci 版本。你可在AWS Deep Learning Containers Gallery瀏覽完整清單。
注意:如果你的自訂映像是 FROM DLC 基礎映像建置而成,就必須為最終映像建立 SOCI 索引。基礎映像的索引不會沿用至衍生映像。
選項 2:為自己的映像建立 SOCI 索引
若要為自訂映像建立索引,你需要一部 Linux 主機(例如執行 Amazon Linux 2023 的 Amazon Elastic Compute Cloud(Amazon EC2)執行個體),並安裝 containerd、SOCI snapshotter,以及 Finch 或 nerdctl。
- 設定環境變數.
ACCOUNT_ID="111122223333" REGION="us-east-1" REPOSITORY_NAME="my-training-image" ORIGINAL_IMAGE_TAG="v1.0" SOCI_IMAGE_TAG="v1.0-soci" REGISTRY="$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com" - 安裝必要工具.
sudo dnf install -y containerd fuse soci-snapshotter runfinch-finch sudo systemctl start soci-snapshotter sudo systemctl restart containerd - 向 Amazon ECR 進行身份驗證.
aws ecr get-login-password --region "$REGION" \ | sudo nerdctl login -u AWS --password-stdin "$REGISTRY" - 拉取原始映像.
sudo nerdctl pull "$REGISTRY/$REPOSITORY_NAME:$ORIGINAL_IMAGE_TAG" - 建立 SOCI 索引映像.
sudo nerdctl image convert --soci \ "$REGISTRY/$REPOSITORY_NAME:$ORIGINAL_IMAGE_TAG" \ "$REGISTRY/$REPOSITORY_NAME:$SOCI_IMAGE_TAG" - 推送已索引映像.
sudo nerdctl push --platform linux/amd64 \ "$REGISTRY/$REPOSITORY_NAME:$SOCI_IMAGE_TAG"
這會在你的儲存庫中建立兩項成品:SOCI 索引,以及一份符合 OCI 規範、可把映像連結至索引的映像索引資訊清單。原始映像及其摘要都不會改變。
在 CI/CD 中自動建立索引
若要在每次推送時自動產生索引,請部署CFN ECR SOCI Index Builder。它會使用Amazon EventBridge規則偵測 Amazon ECR 映像推送事件,並建立索引。你毋須更改建置流程。
在 SageMaker AI 工作中使用已索引映像
像使用其他映像一樣指定經 SOCI 索引的映像即可。毋須更改 API,只需更改標籤。
訓練範例(SageMaker Python SDK)
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
trainer = ModelTrainer(
training_image="111122223333.dkr.ecr.us-east-1.amazonaws.com/my-training-image:v1.0-soci",
role="arn:aws:iam::111122223333:role/SageMakerExecutionRole",
compute=Compute(
instance_type="ml.g5.12xlarge",
instance_count=2,
),
)
trainer.train()確認映像包含 SOCI 索引
啟動前,確認你的標籤指向已索引的映像:
aws ecr batch-get-image \
--repository-name "$REPOSITORY_NAME" \
--image-ids imageTag="$SOCI_IMAGE_TAG" \
--accepted-media-types \
"application/vnd.oci.image.index.v1+json" \
--query 'images[0].imageManifest' --output text \
| jq '.manifests[] | {mediaType, artifactType}'檢查是否有一份子資訊清單,其 artifactType 以 application/vnd.amazon.soci.index. 開頭,並且與平台資訊清單並列。如果找不到,該標籤就沒有指向已索引的映像。
注意事項
- 只適用於 Amazon ECR 私有儲存庫。其他登錄檔中的映像,或透過私有 Docker 登錄檔拉取的映像(TrainingRepositoryAccessMode 設為 Vpc),均不符合延遲載入資格。
- 改善幅度隨映像大小而增加。小於約 4 GB 的映像,改善幅度相對較小。
- 檢查依賴 Docker 特性的假設。經 SOCI 索引的映像會在以 containerd 為基礎的執行環境中運作。請檢查進入點和設定指令碼,找出呼叫 Docker CLI、讀取 /var/run/docker.sock,或從 cgroup 路徑推導識別碼的程式碼。SageMaker AI 會掛載 /.dockerenv 標記以保持向後相容,但請避免新增依賴它的程式。
- 所有 AWS 區域均可使用 SageMaker AI 工作的 SOCI 索引功能。
總結
使用 SOCI 索引,你可以縮短 SageMaker AI 訓練和處理工作下載容器映像所需的時間。你可以為自己的映像加入 SOCI 索引,或改用已預先建立索引的 AWS Deep Learning Container。無論採用哪種方式,都可以把啟動時間由數分鐘縮短至數秒、降低工作總成本,並加快機器學習(ML)迭代週期。現有工作定義、API 呼叫和資料管線則完全維持不變。
如欲進一步瞭解Amazon SageMaker AI並開始使用 SOCI 索引,請參閲以下資源:
- 選用經 SOCI 索引的 Deep Learning Container。瀏覽Deep Learning Containers Gallery,並在映像標籤後加上 -soci。框架專屬指引請參閲AWS Deep Learning Containers 的 SOCI 索引。
- 為自己的自訂映像建立索引。請依照SageMaker AI Developer Guide的逐步指南操作,或參閲SOCI snapshotter 入門指南瞭解進階選項。
- 在 CI/CD 流程中自動建立索引。部署CFN ECR SOCI Index Builder,即可在每次推送映像時自動產生索引,毋須更改流程。
- 使用 Finch 在本機測試。使用Finch 延遲載入指南,在提交工作前於 containerd 執行環境驗證映像。
- 深入瞭解技術。請參閲 AWS Machine Learning Blog 上的使用 DLAMI 和 DLC 的 SOCI 索引縮短容器冷啟動時間瞭解基準測試,或閲讀 AWS Containers Blog 上的深入解析:使用 Seekable OCI 和 AWS Fargate 延遲載入容器映像,進一步瞭解延遲載入機制。
只需更換映像標籤,就能加快容器啟動。下次執行 SageMaker AI 工作時試試看,親自比較效果。
作者介紹
Kanwaljit Khurmi
Kanwaljit 是 Amazon Web Services 的解決方案架構及數據科學資深經理,專長為 AI 和 ML。他與 AWS 產品團隊、工程團隊及客戶合作,為客戶在 AWS 上充分發揮混合式 GenAI 解決方案的價值,提供指引和技術支援。Kanwaljit 專門協助客戶處理容器化、數據科學及機器學習應用程式。
Mona Mona
Mona 現任 Amazon 的 AI/ML 資深專家解決方案架構師。她出版過三本書,最新一本是《AI Agents on AWS》。她已撰寫 20+ 篇關於 AI/ML 和雲端技術的網誌,並與人合著一篇有關 CORD19 Neural Search 的研究論文;該論文於知名的 AAAI(Association for the Advancement of Artificial Intelligence)會議獲選為最佳研究論文。
Michael Oguike
Michael 是 Amazon SageMaker AI 的產品經理。他致力運用科技和 AI 解決現實問題。在 AWS,他協助各行各業的客戶大規模建置、訓練和部署 AI/ML 模型。加入 AWS 前,Michael 曾設計和營運海上石油及天然氣井與設施。工作以外,他喜歡透過書籍和 podcast 探索行為科學與心理學。
Deep Shah
Deep 是 Amazon SageMaker 團隊的軟件開發工程師,負責支援 AWS 模型訓練的基礎設施。他不忙於擴展訓練系統時,喜歡模擬賽車、閲讀和旅行。
來源:AWS Machine Learning Blog · aws.amazon.com


