跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

409條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 221–240 條 · 共 409 條
10月23日週五
  1. AWS Machine Learning Blog60

    Amazon SageMaker AI 上如何以實測設定 TTS 自動擴縮容目標

    AWS 示範在 Amazon SageMaker AI 即時端點部署 Kokoro-82M,並以實測取代 TTS 自動擴縮容目標的猜測。在 ml.g5.xlarge 上,Q_max 為 50;實際擴容耗時為 260.2 秒,另計入按政策設定界定、未經本次測量的 60 秒偵測延遲,規劃 T_total 為 320.2 秒。

    推薦理由:文章以單機可承受併發量和實際擴容耗時兩項測量,推導 TTS 端點的擴縮門檻與冷卻時間,並展示 Kokoro-82M 的部署流程。

10月22日週四
  1. TNW81

    Meta披露約$825bn未來租約及合約承諾

    Meta在提交美國監管機構的季度文件中披露,未來租約及合約承諾約達$825bn,主要涉及AI發展所需的數據中心及運算能力。當中包括$454.5bn不可取消合約、$355.7bn尚未開始的租約,以及未來五年最多$14.7bn的雲端容量交易。Meta第三季資本開支(包括融資租賃付款)達$34.9bn,自由現金流為負$2.1bn,並預計今年支出$135bn至$145bn。

    推薦理由:文件拆分了不可取消合約、尚未開始的租約及雲端容量交易,並列出部分付款時程,呈現 Meta 長期基建承諾的構成。

  2. DEV Community76

    LiteLLM 1.107.0 無須 import 即觸發 .pth 鈎子,作者實測免啟動盤查與 uv 冷卻

    LiteLLM 1.107.0 曾於 10 月 21 日在 PyPI 上架約 100 分鐘,安裝套件後,.pth 啟動鈎子可在 Python 程序啟動時執行負載,無須 import litellm。

    推薦理由:文章以無害替身展示 .pth 啟動鈎子的觸發範圍,並提供不啟動可疑 Python 環境的盤查方式及依賴冷卻設定,方便讀者檢視事故應對措施。

  3. NVIDIA Blog66

    NVIDIA Cosmos 擴展工具,支援世界模型訓練、評估及部署

    NVIDIA 擴展 Cosmos 平台,加入訓練工具、模擬檢查點及 Cosmos Data Factory 藍圖,支援世界模型訓練、評估和部署。Cosmos Data Factory 提供五種雲端原生藍圖;Cosmos Framework 則支援透過微調和強化學習調適開源模型,並以知識蒸餾和量化作最佳化。

    推薦理由:文章串連數據整理、模型調適與模擬測試等更新,並列出 Porsche、ANYbotics 等企業案例,呈現 Cosmos 工具鏈在實體 AI 開發流程中的應用。

  4. IT Square · AI85

    PHP2Shell:AI 一週找出十年舊漏洞,多國政府網站預防性下線

    PHP2Shell 在官方修補發布前已遭利用,多國政府網站採取預防性下線;Wiz 團隊於 8 月 19 日用 Wiz Atlas、Gemini 4 Argon 與 GPT-5.6 Sol 找出第一個問題。

    推薦理由:文章串連漏洞發現、攻擊早於官方修補及舊版 PHP 的支援缺口,呈現 AI 加快攻防後,修補流程面對的時間壓力。

  5. DEV Community82

    Anthropic IPO 招股草案披露上半年 80.7 billion 美元淨虧損及逾 600 billion 美元算力承諾

    Anthropic 的 IPO 招股草案披露,該公司 2026 年上半年收入為 16.3 billion 美元,淨虧損 80.7 billion 美元,並承諾超過 600 billion 美元的未來算力支出。

    推薦理由:文章將 80.7 billion 美元淨虧損拆分為非現金估值支出與約 8.7 billion 美元的虧損,並對照大部分不可取消的算力合約,呈現招股數字背後的資金壓力。

  6. DEV Community82

    PHP php2shell:請求中途失敗仍可能留下狀態

    php2shell 涉及兩項 PHP 執行環境漏洞,請求在初始化中途因致命錯誤停止後,可能令同一 worker 的後續請求讀取殘留狀態。PHP 安全團隊將 CVE-2026-109618 和 CVE-2026-109619 評為嚴重,評分為 CVSS v4.0 9.2;研究人員報告這些漏洞可導致記憶體資料洩露及遠端程式碼執行。

    推薦理由:文章從 php2shell 的失敗路徑整理修補次序與緩解措施,並提出檢查重用 worker 在異常中止後狀態殘留的方法。

  7. AWS Machine Learning Blog61

    Deep Insight 如何解決多智能體系統的 5 項生產環境挑戰

    AWS Solutions Architecture 團隊以 Deep Insight 説明如何應對多智能體系統投入生產環境的 5 項挑戰,涵蓋執行流程、模型選擇、程式碼安全及監控。

    推薦理由:文章把多智能體生產部署拆成協作流程、模型分工、程式碼隔離和營運監控等層面,並交代各項設計採用的元件與取捨。

  8. DEV Community84

    LiteLLM 1.107.0 遭植入憑證竊取程式,作者核查 PyPI 並重現後門機制

    LiteLLM 1.107.0 在 PyPI 發佈的套件遭植入憑證竊取程式及遠端程式碼執行後門,並透過 `.pth` 檔在 Python 啟動時執行,即使程式沒有匯入 litellm 亦然。

    推薦理由:文章把惡意套件的植入方式與 Python 啟動時執行的 .pth 機制連結,並以無害 canary 示範重現及提供主機檢查線索。

  9. Hacker News 熱門(buzzing.cc 中文翻譯)76

    GitLab 發布七個補丁版本,修復可導致遠端程式碼執行的整數溢出漏洞

    GitLab 於 2026 年 10 月 21 日為 GitLab CE/EE 發布 19.5.1、19.4.3、19.3.6、19.2.9、19.1.9、19.0.10 和 18.11.13,修復多項錯誤及安全問題。

    推薦理由:更新涵蓋七個 GitLab CE/EE 補丁版本,修復 CVSS 10.0 的未經身份驗證遠端程式碼執行漏洞;文中亦説明單節點升級需停機完成資料庫遷移,呈現更新的維護影響。

  10. SiliconANGLE81

    PHP 維護者為 PHP2Shell 兩項嚴重漏洞發佈修補程式

    PHP 維護者已為合稱 PHP2Shell 的兩項嚴重漏洞發佈修補程式,漏洞最多影響全球 70% 的網站。漏洞可讓攻擊者在易受攻擊的伺服器部署惡意程式碼,Cloudflare 和 Fastly 表示已觀察到利用嘗試。網絡安全機構呼籲組織在更新前關閉受影響系統;Cloudflare 已更新 CDN 提供防護,OpenAI 亦發佈工具協助 Codex 用戶搜尋易受攻擊的 PHP 安裝。

    推薦理由:漏洞影響廣泛且已有攻擊嘗試,報道亦梳理修補以外的緩解措施,以及舊版 PHP 無法取得常規安全更新時的處置考量。

  11. 新浪科技79

    PHP曝出兩個高危漏洞,多個政企網站緊急停服避險

    PHP曝出兩個代號為 PHP2Shell 的高危漏洞,攻擊者毋須登入即可透過特製請求在伺服器執行任意程式碼。漏洞編號為 CVE-2026-109618 及 CVE-2026-109619,CVSS 評分為 9.2,watchTowr 給出 10.0;PHP官方於10月21日發布8.5.12、8.4.27、8.3.36及8.2.35修補版本。

    推薦理由:漏洞可在免登入情況下觸發伺服器任意程式碼執行,而公告列出的修補版本集中於 PHP 8.2 至 8.5,呈現舊版網站在修補與臨時停服之間的處置難題。

  12. OpenAI News75

    OpenAI 如何構建兼顧用戶信任與相關性的 ChatGPT 新型廣告技術架構

    OpenAI 為 ChatGPT 建構一套自訂廣告投放系統,以經後訓練的前沿 LLM 編排廣告流程,根據對話脈絡調用工具進行檢索、排名、相關性評估和競價。廣告系統與 ChatGPT 的答案生成分開運作,避免廣告影響回答並維持中立語氣。ChatGPT Ads 上線不足 200 天後,年化收入運行率達 $1 billion;自推出以來,超過 100,000 名廣告商曾在 ChatGPT 投放廣告。

    推薦理由:ChatGPT 廣告系統以跨回合及多次對話的狀態和 LLM 工具調用追蹤變化中的商業意圖,並將廣告流程與答案生成分開處理。

  13. Hacker News 熱門(buzzing.cc 中文翻譯)87

    LiteLLM 1.107.0 遭篡改,植入憑證竊取程式與遠端程式碼執行後門

    SafeDep 指出,PyPI 上遭篡改的 LiteLLM 1.107.0 會安裝憑證竊取程式及遠端程式碼執行後門,相關檔案會在主機啟動任何 Python 程序時執行。

    推薦理由:文章對照 wheel、上游 Git 標籤與發佈流程的差異,並列出入侵指標,呈現惡意套件如何在安裝後觸發憑證外傳與後續程式碼執行。

10月21日週三
  1. Wiz:Research(安全研究)87

    LiteLLM 1.107.0 惡意版本竊取憑證,PyPI 套件及 Docker 映像受影響

    Wiz Research 揭露,LiteLLM 1.107.0 惡意版本於 10 月 21 日上傳至 PyPI,並出現在 GHCR 和 Docker Hub 的 LiteLLM 容器映像。

    推薦理由:文章具體描述惡意套件如何在 Python 啟動時竊取多類憑證,並列出其後 AWS 憑證遭濫用的觀察,呈現供應鏈事件由植入到後續利用的關鍵環節。

  2. 創業邦85

    SpaceX 首次錄得季度盈利,淨利潤 44 億美元;馬斯克談 Tesla 合併及自研記憶體晶片

    SpaceX 第三季度錄得 44 億美元淨利潤,營收達 145.75 億美元,成為上市以來首個錄得盈利的季度。由 xAI 整合而來的 SI 業務收入達 75.60 億美元,佔總營收 52%;公司同期資本開支升至 195.93 億美元,主要投向 AI 算力基建及星艦等項目。

    推薦理由:報道把 AI 算力收入、各業務盈利貢獻與資本開支放在同一份季度帳目中,呈現 SpaceX 扭虧與擴張投入並行的財務結構。

  3. Latent Space76

    DeepSeek 開源 DeepInfer 推理引擎,單集羣每日處理量報稱達 155T tokens

    DeepSeek 開源為 V4.1 Flash 提供推理服務的 DeepInfer,並披露單一集羣每日處理 155T tokens,輸入快取命中率為 96%。報道指出,該處理量包含快取命中,不能等同全新計算量;KV-cache 管理及負載平衡等服務層組件尚未完整公開。

    推薦理由:內容將 DeepSeek 公佈的吞吐與每卡時收入,連同 96% 輸入快取命中及未完整公開的服務組件一併梳理,説明這些數字的適用邊界。

  4. 中華網科技78

    Anthropic IPO招股書草案據報顯示上半年營收163億美元,算力支出近90億美元

    《華爾街日報》報道指,Anthropic IPO招股書草案顯示,公司2026年上半年營收達163億美元,約為去年同期11億美元的15倍,算力及基礎設施支出則接近90億美元,超過去年全年73億美元。

    推薦理由:報道區分已簽基建承諾與仍在洽談的交易,並説明淨虧損中大部分屬融資工具賬面價值調整,有助理解合約總額、會計虧損與現金支出的差異。