LeRobot v0.4.0 升級開源機械人學習工具鏈
LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。
推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。
把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。
LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。
推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。
Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。
推薦理由:文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。
Hugging Face Blog 提供以 Optimum Intel 和 OpenVINO 在 Intel CPU 上本地運行 SmolVLM2-256M-Video-Instruct 的三步教程,涵蓋模型轉換、量化及推理。
推薦理由:文章展示 VLM 在 Intel CPU 上以 OpenVINO 完成轉換、兩種量化和推理的三步流程,並交代靜態量化校準與精度影響。
OpenAI 與 Broadcom 宣佈多年合作,計劃在 2029 年前部署 10 gigawatts 的 OpenAI 設計 AI 加速器。雙方亦將共同開發下一代系統及以太網方案,以支援可擴展且具能源效益的 AI 基礎設施。
推薦理由:這項多年合作把加速器部署、下一代系統共同開發與以太網方案連在一起,呈現其 AI 基礎設施建設所涵蓋的環節。
AMD 與 OpenAI 宣佈多年合作,計劃部署 6 gigawatts AMD Instinct GPUs,以支援 OpenAI 下一代 AI 基礎設施並加快全球 AI 創新。部署將於 2026 年從 1 gigawatt 開始。
推薦理由:合作涵蓋 6 gigawatts AMD Instinct GPUs,並安排 2026 年先部署 1 gigawatt,呈現 OpenAI 下一代 AI 基礎設施的建置規模與時間節點。
Samsung 與 SK 加入 OpenAI 的 Stargate 計劃,以擴大全球 AI 基礎設施。合作將擴充先進記憶體晶片產能,並在韓國建設新一代數據中心。
推薦理由:合作內容同時涵蓋先進記憶體晶片產能擴大與韓國新一代數據中心建設,呈現 Stargate 推進全球 AI 基礎設施的兩條實體建設路徑。
OpenAI、Oracle 與 SoftBank 宣佈 Stargate 新增五個 AI 數據中心站點,並加快美國 $500B、10-gigawatt 的基礎設施建設。該建設旨在支援下一代 AI,並創造數以萬計個職位。
推薦理由:公告將新增五個站點放在 $500B、10-gigawatt 的美國基建計劃中,並交代其支援下一代 AI 和創造數以萬計職位的目標。
Google 發佈 EmbeddingGemma,一款支援 100 多種語言、具備 308M parameters 和 2K context window 的多語言嵌入模型。文章示範以 Sentence Transformers、LangChain 等工具接入模型,並在 MIRIAD 醫療檢索測試中將微調版的 NDCG@10 提升至 0.8862,基礎模型為 0.8340。
推薦理由:文章提供 EmbeddingGemma 接入多個檢索框架的程式示例,並説明查詢與文件提示詞的設定方式,方便將模型納入既有檢索流程。
Hugging Face 介紹如何在 ZeroGPU Spaces 使用 PyTorch AoT 編譯,將模型預先編譯後在不同程序中載入,以減少即時編譯造成的冷啟動開銷。
推薦理由:文章拆解 ZeroGPU Spaces 的 PyTorch AoT 編譯流程,並展示量化、動態形狀與區域編譯等可遷移的優化做法。
OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。
推薦理由:文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。
OpenAI 介紹用 Ollama 在本地運行兩款 gpt-oss 模型,支援離線聊天、API 調用及接入 Agents SDK。gpt-oss-20b 建議至少 16GB VRAM 或 unified memory,gpt-oss-120b 至少 60GB;模型預設採用 MXFP4 量化,VRAM 不足時可用 CPU,但速度較慢。
推薦理由:指南比較兩個模型所需的硬件配置,並串起本地聊天、Chat Completions API 與 Agents SDK 接入步驟,便於評估本地部署路徑。
Ollama 與 OpenAI 合作,將 gpt-oss-20b 和 gpt-oss-120b 開放權重模型帶到 Ollama,供用戶本地使用。兩款模型採用 MXFP4 量化,20B 版本可在記憶體低至 16GB 的系統運行,120B 版本可在單張 80GB GPU 上運行。20B 面向低延遲、本地或專用場景,120B 面向生產、通用及高推理需求;可透過 Ollama 新應用程式或終端機下載。
推薦理由:文章説明 MXFP4 量化及 Ollama 原生支援如何降低本地運行門檻,並列出 20B 與 120B 模型的硬件需求和用途定位。
Mistral AI 發佈 Codestral 25.08,並推出整合程式碼補全、語意檢索、Devstral 智能體工作流及 Mistral Code IDE 外掛的企業編碼技術棧。
推薦理由:文章把 Codestral 25.08、程式碼檢索、Devstral 智能體工作流與 IDE 管理整合為企業方案,並交代部署選項及安全治理設計。
Oracle 與 OpenAI 達成協議,將在美國開發 Stargate 額外 4.5 gigawatts 的數據中心容量。Stargate 是 OpenAI 的 AI 基礎設施平台,這項協議亦是該計劃的重要里程碑。OpenAI 表示,這項投資將創造新職位、加快美國再工業化並推進美國 AI 領導地位。
推薦理由:這項協議把 Stargate 在美國的新增數據中心容量明確為 4.5 gigawatts,呈現 OpenAI 與 Oracle 推進 AI 基礎設施建設的合作規模。
NVIDIA NIM 現可透過單一 Docker 容器部署 Hugging Face 上逾 100,000 個 LLM。NIM 會自動識別模型格式、架構和量化格式,並在 NVIDIA TensorRT-LLM、vLLM 與 SGLang 間選擇後端及套用預設設定。
推薦理由:文章展示 NIM 如何按模型格式、架構與量化方式自動選擇推理後端,並以部署示例説明從 Hugging Face 模型到 Docker 服務的操作流程。
Hugging Face 推出 ScreenEnv,這是一個可在 Docker 容器中建立隔離 Ubuntu 桌面環境、用於測試和部署 GUI 智能體的 Python 程式庫。
推薦理由:ScreenEnv 將桌面控制、Docker 隔離與 MCP/API 接入整合在同一工具,並以 smolagents 範例展示如何建立和執行桌面任務智能體。
Hugging Face Blog 示範如何使用 Sentence Transformers 訓練及微調稀疏嵌入模型,介紹 SPLADE、Inference-free SPLADE、CSR 架構,以及資料、損失函數、評估器和訓練器的配置。
推薦理由:文章按 SPLADE、Inference-free SPLADE 與 CSR 的適用情境梳理架構選擇,並以實作例子串連資料、損失函數和評估器配置。
Mistral AI 推出 Mistral Compute,提供可按客户需求配置的私有整合式 AI 基礎設施,形態涵蓋裸金屬伺服器至全託管 PaaS。服務整合 GPU、編排、API、產品及服務,將提供最新 NVIDIA 參考架構,GPU 可用量達數萬枚,並於未來數年快速擴充。
推薦理由:Mistral Compute 將 GPU、編排、API、產品及服務整合為私有 AI 基礎設施,讓客户按需求配置,並提供由裸金屬伺服器至全託管 PaaS 的部署形態。
Hugging Face 與 NVIDIA 宣佈合作推出 Training Cluster as a Service,讓研究機構可按訓練需求申請 GPU 叢集,並按訓練運行時長付費。
推薦理由:服務將 GPU 叢集申請、算力採購、部署和訓練排程串起來,並按訓練時長付費,呈現研究機構如何依地區、規模與訓練週期取得所需算力。
OpenAI 正啟動 Stargate UAE,這是其 AI 基礎設施平台 Stargate 的首個國際部署。
推薦理由:原文將 Stargate UAE 定位為 Stargate 的國際部署,提供理解 OpenAI AI 基礎設施平台海外部署脈絡的具體案例。