跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 261–280 條 · 共 408 條
10月16日週五
  1. IT之家77

    商務部回應技術出口目錄修訂,擬增列人工智能等 40 項技術

    商務部、科技部就修訂《中國禁止出口限制出口技術目錄》公開徵求意見,擬增列人工智能、生物醫藥及光伏領域共 40 項關鍵技術,其中人工智能相關技術 23 項。公告所列技術在目錄正式修訂實施前,出口前須辦理登記;已透過開源或學術論文進入公共領域的相關技術,擬不納入出口管理。

    推薦理由:問答釐清 23 項擬增列人工智能技術、開源技術的處理方式,以及海外部署與 API 調用的出口管理界線。

10月15日週四
  1. Mistral AI61

    Mistral AI 發佈 Timestral 時序基礎模型系列

    Mistral AI 發佈 Timestral 時序基礎模型系列,提供 5M、28M、123M 和 209M 四種尺寸,支援機率式多變量預測及過去與已知未來協變量。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三個公開基準均排名第一;以三週、每 15 分鐘一筆的歷史資料預測一天,在 8 threads 的標準伺服器 CPU 上耗時 140 ms。

    推薦理由:Timestral 的四種模型尺寸對應不同的預測表現與推理速度,文章提供公開基準結果和 CPU 延遲數據,方便比較準確度與部署效率之間的取捨。

  2. DEV Community80

    AWS Bedrock AgentCore 執行角色權限收窄指南

    文章解説 Zenity Labs 的研究發現,AWS Bedrock AgentCore 的 IMDS 存取與過寬 IAM 角色可讓單一提示詞取得憑證,並影響同一 AWS 帳戶及區域內的其他智能體。

    推薦理由:文章將 AgentCore 權限過寬與提示詞注入造成的憑證風險連結,並整理拆分執行角色、收窄權限及驗證設定的實務清單。

  3. DEV Community76

    移除護欄的 AI 模型可能暗藏後門並外傳敏感資料

    ProjectDiscovery 的概念驗證顯示,經修改權重的開放模型可藏有後門,觸發後透過工具呼叫外傳 .env 檔案及 SSH 金鑰。測試以 Qwen2.5-7B-Instruct 訓練 625 條資料,其中 125 條遭投毒;後門影響約 43M 個參數,未觸發時一般請求仍正常。文章建議限制編碼 Agent 權限、隔離網絡存取與命令執行,並核查外部模型的發布者、訓練資料及權重差異。

    推薦理由:以 Qwen2.5-7B-Instruct 的概念驗證呈現模型後門如何藉工具呼叫外傳 .env 檔案與 SSH 金鑰,並整理編碼 Agent 的權限隔離做法。

  4. TNW77

    Modal 融資 $750M,估值達 $15.75bn,年收入超過 $1bn

    Modal 宣佈完成 $750M 的 D 輪融資,估值達 $15.75bn,年收入超過 $1bn。Accel 領投,Kleiner Perkins 及現有投資者參與;公司稱,Sandboxes 年收入達 $300 million,自 2023 年起已啟動近 3 billion 個沙盒。

    推薦理由:報道將融資規模與營收增長並列,亦指出 Sandboxes 年收入達 $300 million,呈現該產品在 Modal 業務中的收入情況。

10月14日週三
  1. Modal 官方工程博客79

    Modal 年化收入突破 $1B,並完成 $750M D 輪融資

    Modal 宣佈年化收入突破 $1B,並以 $15.75B 投後估值完成 $750M D 輪融資。自 5 個月前宣佈 C 輪融資以來,使用量已增至 3 倍,按年增長逾 15 倍。其 Sandboxes 產品本身的年化收入 run rate 已達 $300M,並已推出多節點訓練。

    推薦理由:融資、年化收入與 Sandboxes 的規模數據,配合其自建容器執行環境及跨雲容量池的描述,勾勒出 Modal 面向 AI 工作負載的基建擴張路線。

  2. GitHub Blog · AI & ML61

    GitHub 機密偵測模型以較少誤報找出更多憑證

    GitHub 訓練並部署微調 ModernBERT 分類器,與 regex 候選生成組成兩階段機密掃描流程,以周邊脈絡區分真實憑證和相似字串。相較舊有 LLM 流程,線上以儲存庫擁有者加權的接受率提高 11.5%,post-push 掃描中位執行時間降低 86%,服務成本降低逾 98%。

    推薦理由:文章拆解 regex 與微調 ModernBERT 結合的兩階段設計,並以接受率、掃描時間及服務成本數據呈現其相較舊 LLM 流程的變化。

10月13日週二
  1. AWS Machine Learning Blog64

    如何在 Amazon Bedrock 上以 Grok 4.7 建立長時程智能體

    文章展示如何在 Amazon Bedrock 上以 Grok 4.7 建立工具呼叫智能體,並以三項需要搜尋的任務比較 low、medium、high、xhigh 四種推理力度。

    推薦理由:文章以三項答案可窮舉驗證的任務比較推理力度與 token 用量,並提供可移用於自有 Agent 評測的測試設計和生產監控方法。

  2. AWS Machine Learning Blog69

    如何在泰國、馬來西亞、新加坡、印尼及台灣透過 Amazon Bedrock 全球跨區域推理存取 OpenAI GPT-6 模型

    AWS 説明如何透過 Amazon Bedrock 全球跨區域推理,在泰國、馬來西亞、新加坡、印尼及台灣存取 GPT-6 Sol 和 GPT-6 Luna,並在新加坡存取 GPT-6 Astra。

    推薦理由:文章把 API 呼叫、IAM/SCP 權限、配額與監控串成部署流程,並交代跨區域請求的資料保留位置及來源區域追蹤方式。

10月12日週一
  1. NVIDIA Blog60

    NVIDIA 在 OCP 全球峯會開放 Vera Rubin 架構,助力全球 AI 工廠擴展

    NVIDIA 在 OCP 全球峯會透過開放式 NVIDIA MGX 架構,向 OCP 提交 Vera Rubin 機架及運算托盤設計,並宣佈多項 AI 工廠基礎設施合作與開放標準。

    推薦理由:文章將機架、供電、網絡與軟件更新放在共同開放標準下,呈現跨供應商協作如何支撐 AI 工廠擴展的整體架構。

10月10日週六
  1. AWS Machine Learning Blog60

    Postman 如何在 Amazon Bedrock 上為 40 million 名開發者運行 Agent Mode

    Postman 分享如何透過 Amazon Bedrock 為 40 million 名開發者運行 Agent Mode,並歸納將成熟產品接入 AI 智能體的生產架構經驗。核心做法包括按任務動態篩選工具、以結構化資料支援查詢,以及為不同實體建立專用上下文處理器;修改應用程式狀態前仍須用戶批准。Agent Mode 亦使用模型選擇、跨區域推理、為支援模型設定的零數據保留,以及分層提示詞快取。

    推薦理由:文章拆解 Postman 如何按任務動態配置工具、以結構化資料查詢及專用上下文設計,處理成熟產品接入智能體的工程難題。

10月9日週五
  1. AWS Machine Learning Blog64

    BlockRun 與 Incarna 如何使用 Amazon Bedrock AgentCore payments 實現 AI 智能體按次支付推理費用

    Incarna 使用 Amazon Bedrock AgentCore payments,讓 AI 智能體透過 x402 向 BlockRun 逐次支付模型推理費用,並將流程部署至 Base 正式環境。

    推薦理由:文章以 Incarna 的整合案例,説明 AgentCore payments 如何透過 x402 支援按次推理付款,並在基礎設施層執行支出上限。

10月8日週四
  1. AWS Machine Learning Blog69

    AWS 宣佈 Claude Haiku 5.5 登陸 Amazon Bedrock 及 Claude Platform on AWS

    AWS 宣佈 Claude Haiku 5.5 已可透過 Amazon Bedrock 及 Claude Platform on AWS 使用。Anthropic 表示,它是 Claude 5.5 系列中速度最快、效率最高的模型,大多數任務的成本比 Claude Haiku 4.5 低約 75 percent。

    推薦理由:文章説明 Claude Haiku 5.5 面向高用量、成本敏感任務的定位,並列出 Amazon Bedrock 使用範例及可用區域,提供模型選用與部署的實用參考。

10月7日週三
  1. Google DeepMind70

    Google DeepMind 發佈開放、輕量級多模態嵌入模型 EmbeddingGemma 2

    Google DeepMind 發佈 EmbeddingGemma 2,將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,供裝置端推理使用。

    推薦理由:EmbeddingGemma 2 將文字、程式碼、圖像、影片及音訊映射至同一嵌入空間,並列出裝置端記憶體與向量儲存數據,方便評估跨模態搜尋的本地部署。

10月6日週二
  1. Cerebras:Blog76

    OpenAI 與 Cerebras 簽訂多年協議,部署總容量達 750 megawatts 的晶圓級系統

    OpenAI 與 Cerebras 簽訂多年協議,將分階段部署 750 megawatts 的 Cerebras 晶圓級系統,為 OpenAI 客戶提供服務。部署將於 2026 年開始;Cerebras 稱這將成為全球最大高速 AI 推理部署。Cerebras 表示,其系統上的大語言模型在編碼智能體或語音聊天場景中,回應速度較基於 GPU 的系統快達 15×。

    推薦理由:文章列出 750 megawatts 的部署規模,並引述 Cerebras 稱其推理回應較 GPU 系統快達 15×,呈現合作的規模與方案定位。