跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 161–180 條 · 共 408 條
10月31日週六
  1. AWS Machine Learning Blog60

    如何透過 Amazon Bedrock AgentCore runtime 即時預覽編碼智能體建立的網站

    AWS 示範以 Amazon Bedrock AgentCore runtime 的 Session endpoints,讓編碼智能體建立的 Vite 網站在瀏覽器中即時預覽,並在智能體儲存檔案時更新。

    推薦理由:文章以 Vite 網站示範如何透過 Session endpoint 即時預覽編碼智能體的修改,並交代連接埠授權、本機憑證轉送與連線限制。

  2. AWS Machine Learning Blog63

    如何在 AWS GovCloud (US) 的 Amazon Bedrock 上設定 ChatGPT 桌面應用程式

    AWS 教學示範如何在 AWS GovCloud (US) 的 Amazon Bedrock 上設定 ChatGPT 桌面應用程式,並將 Codex 的模型推理請求路由至 us-gov-west-1 的 Amazon Bedrock Mantle。

    推薦理由:文章把設定檔、AWS 身份驗證與網絡限制串成受控部署流程,並列出驗證、故障排查及回復步驟,方便機構按自身授權要求評估。

  3. DEV Community78

    不要再向 AI 智能體提供生產環境金鑰

    Abhinav Yadav根據 CERT-In 於 2026 年 10 月 15 日發布的嚴重級別通告 CIAD-2026-0049,整理避免 AI 智能體接觸或濫用生產環境憑證的安全做法。

    推薦理由:文章把 CERT-In 的事故警示轉化為憑證管理、網絡出口控制及防篡改記錄等具體措施,呈現團隊限制智能體生產環境權限的操作思路。

10月30日週五
  1. DEV Community77

    Mistral Large 4:1T 總參數、每 token 約 49B 活躍參數,開放權重實際改變了甚麼?

    Mistral Large 4 開放權重帶來的實際變化,取決於每項完成任務的 token 成本、自行部署門檻與授權條款,而不只是權重可下載。

    推薦理由:文章以每項已完成任務的 token 用量取代單看基準分數,説明這種衡量方式如何對應智能體編碼的實際成本。

  2. 虎嗅85

    幣圈驚魂夜:幣安遭竊58億美元,復盤加密貨幣史上最大黑客攻擊

    幣安標記為「Binance 14」的熱錢包遭提交50條 EIP-7702 授權,之後多種代幣被掃走,跨鏈損失估算為55億至62億美元。鏈上復盤顯示,攻擊者至少提前兩天準備並演練;神魚指出問題出在簽名環節,未看到合約漏洞。幣安公佈已核實凍結金額為30億美元,並表示數字可能繼續增加。

    推薦理由:文章梳理鏈上時間線及 EIP-7702 授權機制,並呈現熱錢包簽名流程如何成為事故調查的關鍵焦點。

  3. DEV Community82

    如何審查以下載形式收到的 Git 專案,防止 AI 編碼智能體執行倉庫設定中的命令

    文章解析 GitSpawn 漏洞:下載形式收到的 Git 專案可透過 `.git/config` 中的命令設定,令 AI 編碼智能體在背景執行 Git 時觸發命令。Manifold Security 披露的事件涉及 7 款 CLI 編碼智能體、共 8 項漏洞,部分命令會在信任提示或登入前執行。作者提供自製檢查腳本,建議先核查本機設定、重新 clone,或在隔離環境開啟不可信專案。

    推薦理由:文章把 Git 本機設定可觸發背景命令的風險,連到可執行的檢查腳本與處置選項,説明接收外部專案時可採取的安全做法。

  4. IT之家78

    消息指 Anthropic 成為 SpaceX 最大單一客戶,貢獻逾三分之一營收

    彭博社引述知情人士稱,Anthropic 已成為 SpaceX 最大單一客戶,並在今年第三季度貢獻超過三分之一營收。SpaceX 上週提交的文件顯示,上一季度約 34.5% 的營收來自一名主要為其人工智能部門採購算力服務的客戶,知情人士確認該客戶就是 Anthropic。

    推薦理由:報道並列客戶營收佔比、合約金額、月度付款安排及提前解約條款,交代這筆算力合作的財務規模與承諾彈性。

  5. DEV Community76

    GPT-4o 退役日期、替代型號與遷移指南

    文章整理 GPT-4o 系列在 OpenAI API、Azure OpenAI 和 ChatGPT 的退役時程、替代型號及遷移檢查流程。

    推薦理由:文章把不同平台的退役日期與替代型號整理成遷移依據,並列出重複評測、影子測試及分階段流量切換的順序,提醒逐項驗證工具呼叫與結構化輸出。

  6. AWS Machine Learning Blog61

    如何在 Amazon EKS 和 SageMaker HyperPod EKS 上以 NVIDIA Nemotron 模型加速智能體 AI

    AWS Machine Learning Blog 介紹如何在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型,以支援智能體 AI 工作流程。

    推薦理由:文章以並行度測試比較聚合與分離式部署,並示範如何根據 TTFT、ITL 和吞吐量規劃容量及判斷擴展方向。

10月29日週四
  1. OpenRouter:Announcements77

    OpenRouter 如何重建供應商路由,提升推理速度與表現

    OpenRouter 宣佈更新供應商路由演算法,從主要按低價分配流量,改為綜合實際價格、速度、吞吐量和可靠性選擇供應商,使用者毋須修改程式碼。一週切換實驗將超過 24 million requests 平分至新舊演算法;新演算法的 TTFT p50 下降 16.9%、吞吐量 p50 提升 16.3%、至少遇到一次 429 的請求減少 67%,每 K requests 的成本上升 6.0%。

    推薦理由:文章拆解新路由如何權衡有效價格、等待時間與失敗重試成本,並以超過 24 million requests 的一週實驗呈現速度、可靠性與成本變化。

10月28日週三
  1. DEV Community76

    Supabase 2026 年 10 月 30 日變更:新資料表需明確設定 GRANT,附 2 分鐘檢查方法

    Supabase 將於 2026 年 10 月 30 日在所有現有專案停止為新 public schema 資料表自動授予 Data API 權限,表格須明確加入 Postgres GRANT 才可存取。

    推薦理由:文章交代新規對 Data API 資料表的影響,並説明如何區分 42501 權限錯誤與 RLS 錯誤,再按角色補上所需 GRANT。

  2. DEV Community81

    Anthropic 的 S-1 首次公開招股申報文件對 Claude API 開發者代表甚麼

    Anthropic 於 2026 年 10 月 26 日向美國 SEC 提交 S-1,擬以「ANT」為代號在 Nasdaq Global Select Market 上市;提交文件當日,Claude API 的價格、限流及模型生命週期均未改變。

    推薦理由:文章把 Anthropic 的 S-1 文件中與 Claude API 開發者相關的風險,連結到限流、模型停用及價格變動,並整理成整合韌性檢查清單。

  3. DEV Community78

    Anthropic S-1 文件對 Claude API 開發者有何意義

    Anthropic 於 2026 年 10 月 26 日向 SEC 遞交 S-1,擬在 Nasdaq 以「ANT」代號上市,但文件不會即時改變 Claude API 的價格、速率限制或模型生命週期。

    推薦理由:文章把 S-1 對算力、限額、定價及模型停用的披露,轉化為 Claude API 整合的韌性檢查項目,涵蓋限額讀取、後備模型與故障回退。

  4. DEV Community76

    npm 套件接連遭入侵後,如何安全執行 `npm install`?

    作者整理 npm、pnpm、Yarn 和 Bun 的依賴安裝防護做法,説明如何降低惡意套件版本進入開發環境和 CI 的風險。建議設定 7 天新版本冷卻期、限制安裝腳本、提交鎖定檔並在 CI 使用凍結安裝;文中列出 npm 11.10.0+、pnpm 11+、Yarn 4.12+ 和 Bun 1.3+ 的相關設定。

    推薦理由:文章比較 npm、pnpm、Yarn 和 Bun 的版本冷卻、安裝腳本與鎖定檔設定,並説明這些措施無法取代 CI 權限控管及惡意程式碼檢查。

  5. 虎嗅78

    SpaceX 的算力擴張藍圖涵蓋數據中心、電力與融資

    SpaceX計劃在2027年新增10吉瓦算力容量,年底總容量達13吉瓦,並在 GPU 部署前建設20吉瓦新增電力和冷卻基礎設施。五份雲端合約已簽約超過70萬塊 NVIDIA GPU,代表超過1.2吉瓦電力容量及545億美元年化營收。Measured AI估算,新增10吉瓦算力需投資3000億至3500億美元;按文中假設計算,六個月回本目標似乎難以實現。

    推薦理由:文章串連 SpaceXSI 的 GPU 部署、電力與冷卻、客戶合約及融資安排,呈現 2027 年擴張目標所面對的執行瓶頸,以及高額投資與短期回本之間的張力。

  6. SiliconANGLE76

    Nvidia、AMD將購入Meta價值$4B股份,擴大晶片合作

    Meta 宣佈 Nvidia 和 AMD 計劃購入總值 $4B 的 Meta 股份,並擴大晶片合作。Nvidia 將投資 $3 billion,合作涵蓋 Rubin GPU、Vera CPU、Spectrum-X 網絡設備及 BlueField-4,亦包括改善 Meta 的 Muse 大語言模型和消費者 AI 智能體。

    推薦理由:這項合作把股權投資、數據中心晶片與網絡設備部署,以及 Muse 模型和消費者智能體優化納入同一框架,可瞭解 Meta 擴大 AI 基礎設施合作的範圍。

  7. AWS Machine Learning Blog66

    AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 SOCI 索引映像

    AWS 宣佈 Amazon SageMaker AI 訓練及處理工作支援 Seekable OCI(SOCI)索引,透過容器映像延遲載入,讓工作數秒內啟動。SageMaker AI 先載入啟動容器所需檔案,再於程式執行期間串流其餘檔案,無須修改工作定義、入口點或資料通道。

    推薦理由:文章以不同映像大小及執行個體測試 SOCI 延遲載入,並交代首個 epoch 的額外耗時,方便評估對工作啟動時間的影響。

10月27日週二
  1. IT之家77

    AMD 宣佈向 Meta 股權發行投資 10 億美元,深化 AI 基礎設施合作

    AMD 宣佈向 Meta 的股權發行投資 10 億美元,並擴大雙方在 CPU、GPU、網絡、系統及軟件方面的合作,以支援 Meta 的 AI 基礎設施和服務。AMD Helios 機架級系統已在 Meta 安裝並進入測試階段,雙方計劃日後擴大部署。AMD EPYC 已支援 Muse 個人 AI 助手背後的專用計算環境,Instinct GPU 則用於生產環境中的模型訓練、排序及推薦引擎工作負載。

    推薦理由:合作涵蓋 EPYC、Instinct GPU、網絡及 ROCm,並已推進至 Helios 系統測試,呈現股權投資與基礎設施部署如何並行。