跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 321–340 條 · 共 408 條
4月27日週一
  1. Mistral AI66

    Mistral AI 開放 Workflows 公開預覽,提供企業 AI 編排層

    Mistral AI 開放企業 AI 編排層 Workflows 公開預覽,讓開發者以 Python 編寫流程,並可發佈至 Le Chat 供組織成員觸發。Workflows 提供持久執行、Studio 逐步追蹤及人工審批暫停與恢復,並支援將 workers 和資料處理部署在企業自有環境。

    推薦理由:Workflows 將持久執行、Studio 追蹤與人工審批整合,並支援 workers 在企業自有環境運行,呈現企業 AI 流程走向生產的部署設計。

4月15日週三
4月9日週四
  1. Hugging Face Blog61

    Waypoint-1.5 提升互動世界保真度並擴展本地硬件支援

    Overworld 推出 Waypoint-1.5 即時影片世界模型,提升視覺保真度並擴大可本地運行的硬件範圍。桌面硬件 RTX 3090 至 5090 可生成最高 720p、60 FPS 的即時環境;另有面向更廣泛消費級硬件(包括遊戲筆電)的 360p 版本,Apple Silicon Mac 支援即將推出。

    推薦理由:Waypoint-1.5 分設 720p 與 360p 檔位,並列明 RTX 3090 至 5090 可達最高 720p、60 FPS,呈現其畫質與本地硬件覆蓋方案。

4月1日週三
  1. Hugging Face Blog68

    Gradio 介紹 gradio.Server,讓自訂前端使用 Gradio 後端

    Gradio 介紹 gradio.Server,讓自訂前端可使用 Gradio 的後端能力,同時採用自選的前端框架。gradio.Server 擴展 FastAPI,提供自訂路由等功能,並加入 Gradio 的佇列、SSE 串流、並發控制和 gradio_client 相容性。

    推薦理由:文章以圖像去背示例展示如何讓自訂 HTML/CSS/JS 前端透過 gradio.Server 使用 Gradio 佇列、並發控制與 ZeroGPU,提供兼顧介面自由度和後端管理的實作參考。

3月17日週二
  1. HKCERT 保安博錄 · AI 安全66

    OpenClaw 快速普及,高權限 AI 代理平台暴露 skills 供應鏈及假冒安裝風險

    HKCERT指出,OpenClaw 快速普及且可接觸本機資源及外部服務,令惡意 skills、假冒安裝來源及已披露漏洞帶來代理接管與惡意程式感染風險。文章提到 ClawHub 已引入 VirusTotal 掃描,但部分 prompt injection 載荷仍可能避過檢測。建議核實官方下載來源、審核 skills、採用最小權限及隔離環境,並更新 OpenClaw。

    推薦理由:文章將 skills 供應鏈、假冒安裝來源及核心漏洞納入高權限 Agent 的整體風險脈絡,並整理來源核實、權限收斂、隔離與監察等部署措施。

3月16日週一
  1. Manus:Blog78

    Manus 推出桌面應用程式核心功能「我的電腦」,連接雲端智能體與本機資源

    Manus 推出桌面應用程式核心功能「我的電腦」,讓雲端智能體透過終端命令讀取、分析和編輯本機檔案,並啟動及控制本機應用程式。用户可新增並授權本機資料夾;執行每項命令前須明確批准,亦可選擇「始終允許」或「僅允許一次」。該功能現已向 macOS 和 Windows 用户開放。

    推薦理由:Manus 將雲端智能體延伸至本機檔案與應用程式,並透過命令授權讓自動化能力與用户對本機操作的控制並存。

3月9日週一
  1. Hugging Face Blog68

    LeRobot 發佈 v0.5.0,擴展機械人硬件、策略模型及資料與模擬功能

    LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。

    推薦理由:版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。

2月27日週五
2月20日週五
  1. Hugging Face Blog76

    GGML 團隊加入 Hugging Face,支持 llama.cpp 及 Local AI 長期發展

    GGML 團隊加入 Hugging Face,並將持續維護 llama.cpp;Hugging Face 會為項目提供長期資源支持。團隊仍將 100% 時間用於維護,並對技術方向及社羣保有完全自主權與領導權;項目會繼續 100% 開源並由社羣推動。雙方計劃讓 transformers library 的模型定義更順暢地用於 llama.cpp,並改善 ggml 軟件封裝及本地模型部署體驗。

    推薦理由:文章交代 GGML 團隊加入後 llama.cpp 的維護自主權與資源支持,也列出連接 transformers library 模型定義及改善本地部署體驗的方向。

2月16日週一
2月9日週一
1月22日週四
  1. Mistral AI60

    Mistral AI 分享 vLLM 記憶體洩漏的排查與修復過程

    Mistral AI 團隊追查 vLLM 分離式服務的記憶體洩漏,定位到 UCX 的 mmap hook 與延後清理的記憶體池。問題只在使用 NIXL 的 Prefill/Decode 分離式設定中重現;設置 UCX_MEM_MMAP_HOOK_MODE=none 可解決洩漏,且在此 vLLM 用例中不影響效能。

    推薦理由:這篇排查記錄示範如何從 RSS 與匿名映射的異常增長開始,逐步利用 BPFtrace 和 GDB 定位 UCX mmap hook,並整理 vLLM 分離式服務可用的修復設定。

1月14日週三
1月9日週五
  1. OpenAI News69

    OpenAI 與 SoftBank Group 聯同 SB Energy 合作開發多吉瓦級 AI 數據中心園區

    OpenAI 與 SoftBank Group 聯同 SB Energy 合作開發多吉瓦級 AI 數據中心園區。項目包括一座位於德州、支援 Stargate 計劃的 1.2 GW 設施。

    推薦理由:合作涵蓋多吉瓦級 AI 數據中心園區,並列出支援 Stargate 計劃的德州 1.2 GW 設施,可瞭解項目規模及合作的具體落點。

2025年12月11日週四
  1. Hugging Face Blog68

    llama.cpp server 新增路由模式,支援無需重啟切換多個模型

    llama.cpp server 現已提供 router mode,可在不重啟的情況下動態載入、卸載及切換多個模型。它會從 llama.cpp 快取或指定的 --models-dir 尋找 GGUF,並在收到請求時載入模型;達到 --models-max 上限時按 LRU 卸載,預設最多同時載入 4 個模型。各模型以獨立程序運行,一個模型崩潰不會影響其他模型。

    推薦理由:多進程隔離配合按需載入和 LRU 卸載,展示 llama.cpp 如何在同一服務中管理多個模型並限制同時載入數量。

2025年12月4日週四
  1. Hugging Face Blog72

    Hugging Face Skills 讓 Claude Code 微調開源大語言模型

    Hugging Face Skills 讓 Claude Code 等編碼智能體透過對話處理模型微調,涵蓋資料集驗證、GPU 選擇、雲端工作提交與進度監控。它亦兼容 Codex 和 Gemini CLI;文中以 Qwen3-0.6B 在 open-r1/codeforces-cots 上進行 SFT 為例,估算使用 t4-small 約需 20 分鐘、成本約 $0.30。

    推薦理由:文章將資料集驗證、GPU 選擇、雲端工作提交與進度監控串成智能體訓練流程,並比較 SFT、DPO、GRPO 的適用場景。

2025年12月1日週一
2025年11月13日週四
2025年11月3日週一
  1. OpenAI News76

    OpenAI 與 AWS 宣佈為期多年的 $38 billion 戰略合作

    OpenAI 與 AWS 宣佈達成一項為期多年的 $38 billion 戰略合作,以擴展先進 AI 工作負載。AWS 將提供一流基礎設施及運算容量,支援 OpenAI 下一代模型。

    推薦理由:這項多年期合作把 AWS 的基礎設施與運算容量,對應到 OpenAI 擴展先進 AI 工作負載及支援下一代模型的需求,呈現雙方合作的資源配置方向。

2025年10月30日週四
  1. Google Research62

    Google Research 公佈 PPI 系統,以差分私隱分析生成式 AI 使用情況

    Google Research 公佈可證明私隱洞察(PPI)系統,結合 LLM、TEE 與差分私隱分析生成式 AI 工具的真實使用情況,只釋出匿名化聚合結果。

    推薦理由:文章將 LLM 結構化摘要、TEE 內的資料隔離與 user-level 差分私隱聚合串成可外部檢查的流程,並以 Pixel Recorder 説明實際部署方式。