跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 341–360 條 · 共 408 條
2025年10月24日週五
  1. Hugging Face Blog75

    LeRobot v0.4.0 升級開源機械人學習工具鏈

    LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。

    推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。

2025年10月21日週二
  1. Hugging Face Blog67

    用開放模型提升 OCR 流程

    Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。

    推薦理由:文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。

2025年10月15日週三
2025年10月13日週一
  1. OpenAI News78

    OpenAI 與 Broadcom 宣佈合作部署 10 gigawatts OpenAI 設計的 AI 加速器

    OpenAI 與 Broadcom 宣佈多年合作,計劃在 2029 年前部署 10 gigawatts 的 OpenAI 設計 AI 加速器。雙方亦將共同開發下一代系統及以太網方案,以支援可擴展且具能源效益的 AI 基礎設施。

    推薦理由:這項多年合作把加速器部署、下一代系統共同開發與以太網方案連在一起,呈現其 AI 基礎設施建設所涵蓋的環節。

2025年10月6日週一
  1. OpenAI News79

    AMD 與 OpenAI 宣佈多年戰略合作,計劃部署 6 gigawatts AMD Instinct GPUs

    AMD 與 OpenAI 宣佈多年合作,計劃部署 6 gigawatts AMD Instinct GPUs,以支援 OpenAI 下一代 AI 基礎設施並加快全球 AI 創新。部署將於 2026 年從 1 gigawatt 開始。

    推薦理由:合作涵蓋 6 gigawatts AMD Instinct GPUs,並安排 2026 年先部署 1 gigawatt,呈現 OpenAI 下一代 AI 基礎設施的建置規模與時間節點。

2025年10月1日週三
  1. OpenAI News61

    Samsung 與 SK 加入 OpenAI 的 Stargate 計劃,擴大全球 AI 基礎設施

    Samsung 與 SK 加入 OpenAI 的 Stargate 計劃,以擴大全球 AI 基礎設施。合作將擴充先進記憶體晶片產能,並在韓國建設新一代數據中心。

    推薦理由:合作內容同時涵蓋先進記憶體晶片產能擴大與韓國新一代數據中心建設,呈現 Stargate 推進全球 AI 基礎設施的兩條實體建設路徑。

2025年9月23日週二
  1. OpenAI News71

    OpenAI、Oracle 與 SoftBank 擴展 Stargate,新增五個 AI 數據中心站點

    OpenAI、Oracle 與 SoftBank 宣佈 Stargate 新增五個 AI 數據中心站點,並加快美國 $500B、10-gigawatt 的基礎設施建設。該建設旨在支援下一代 AI,並創造數以萬計個職位。

    推薦理由:公告將新增五個站點放在 $500B、10-gigawatt 的美國基建計劃中,並交代其支援下一代 AI 和創造數以萬計職位的目標。

2025年9月4日週四
  1. Hugging Face Blog67

    Google 發佈 EmbeddingGemma 多語言嵌入模型

    Google 發佈 EmbeddingGemma,一款支援 100 多種語言、具備 308M parameters 和 2K context window 的多語言嵌入模型。文章示範以 Sentence Transformers、LangChain 等工具接入模型,並在 MIRIAD 醫療檢索測試中將微調版的 NDCG@10 提升至 0.8862,基礎模型為 0.8340。

    推薦理由:文章提供 EmbeddingGemma 接入多個檢索框架的程式示例,並説明查詢與文件提示詞的設定方式,方便將模型納入既有檢索流程。

2025年9月2日週二
2025年8月5日週二
  1. Hugging Face Blog91

    OpenAI 發佈開源 GPT OSS 模型系列

    OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。

    推薦理由:文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。

  2. OpenAI Developers76

    如何用 Ollama 在本地運行 OpenAI gpt-oss

    OpenAI 介紹用 Ollama 在本地運行兩款 gpt-oss 模型,支援離線聊天、API 調用及接入 Agents SDK。gpt-oss-20b 建議至少 16GB VRAM 或 unified memory,gpt-oss-120b 至少 60GB;模型預設採用 MXFP4 量化,VRAM 不足時可用 CPU,但速度較慢。

    推薦理由:指南比較兩個模型所需的硬件配置,並串起本地聊天、Chat Completions API 與 Agents SDK 接入步驟,便於評估本地部署路徑。

  3. Ollama:Blog87

    Ollama 引入 OpenAI gpt-oss-20b 與 gpt-oss-120b 開放權重模型

    Ollama 與 OpenAI 合作,將 gpt-oss-20b 和 gpt-oss-120b 開放權重模型帶到 Ollama,供用戶本地使用。兩款模型採用 MXFP4 量化,20B 版本可在記憶體低至 16GB 的系統運行,120B 版本可在單張 80GB GPU 上運行。20B 面向低延遲、本地或專用場景,120B 面向生產、通用及高推理需求;可透過 Ollama 新應用程式或終端機下載。

    推薦理由:文章説明 MXFP4 量化及 Ollama 原生支援如何降低本地運行門檻,並列出 20B 與 120B 模型的硬件需求和用途定位。

2025年7月30日週三
2025年7月22日週二
  1. OpenAI News74

    OpenAI 與 Oracle 達成協議,在美國開發 Stargate 新增 4.5 gigawatts 的數據中心容量

    Oracle 與 OpenAI 達成協議,將在美國開發 Stargate 額外 4.5 gigawatts 的數據中心容量。Stargate 是 OpenAI 的 AI 基礎設施平台,這項協議亦是該計劃的重要里程碑。OpenAI 表示,這項投資將創造新職位、加快美國再工業化並推進美國 AI 領導地位。

    推薦理由:這項協議把 Stargate 在美國的新增數據中心容量明確為 4.5 gigawatts,呈現 OpenAI 與 Oracle 推進 AI 基礎設施建設的合作規模。

  2. Hugging Face Blog61

    NVIDIA NIM 支援在 Hugging Face 部署逾 100,000 個 LLM

    NVIDIA NIM 現可透過單一 Docker 容器部署 Hugging Face 上逾 100,000 個 LLM。NIM 會自動識別模型格式、架構和量化格式,並在 NVIDIA TensorRT-LLM、vLLM 與 SGLang 間選擇後端及套用預設設定。

    推薦理由:文章展示 NIM 如何按模型格式、架構與量化方式自動選擇推理後端,並以部署示例説明從 Hugging Face 模型到 Docker 服務的操作流程。

2025年7月10日週四
2025年7月1日週二
  1. Hugging Face Blog64

    使用 Sentence Transformers 訓練及微調稀疏嵌入模型

    Hugging Face Blog 示範如何使用 Sentence Transformers 訓練及微調稀疏嵌入模型,介紹 SPLADE、Inference-free SPLADE、CSR 架構,以及資料、損失函數、評估器和訓練器的配置。

    推薦理由:文章按 SPLADE、Inference-free SPLADE 與 CSR 的適用情境梳理架構選擇,並以實作例子串連資料、損失函數和評估器配置。

2025年6月11日週三
  1. Mistral AI61

    Mistral AI 推出 Mistral Compute AI 基礎設施服務

    Mistral AI 推出 Mistral Compute,提供可按客户需求配置的私有整合式 AI 基礎設施,形態涵蓋裸金屬伺服器至全託管 PaaS。服務整合 GPU、編排、API、產品及服務,將提供最新 NVIDIA 參考架構,GPU 可用量達數萬枚,並於未來數年快速擴充。

    推薦理由:Mistral Compute 將 GPU、編排、API、產品及服務整合為私有 AI 基礎設施,讓客户按需求配置,並提供由裸金屬伺服器至全託管 PaaS 的部署形態。

  2. Hugging Face Blog60

    Hugging Face 與 NVIDIA 合作推出 Training Cluster as a Service

    Hugging Face 與 NVIDIA 宣佈合作推出 Training Cluster as a Service,讓研究機構可按訓練需求申請 GPU 叢集,並按訓練運行時長付費。

    推薦理由:服務將 GPU 叢集申請、算力採購、部署和訓練排程串起來,並按訓練時長付費,呈現研究機構如何依地區、規模與訓練週期取得所需算力。

2025年5月22日週四