跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

408條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 1–20 條 · 共 408 條
今天11月22日週日
  1. The Decoder83

    Dragos 研究發現至少三家 AI 推理供應商遭入侵,數百個 AWS 金鑰被竊

    Dragos 安全研究人員向 AI 供應商發送約 200 萬條含虛假憑證的請求,發現至少三家供應商遭入侵,攻擊者正竊取用戶資料。最大一宗事件中,攻擊者收集數百個 AWS 金鑰,部分來自供應商拒絕處理的請求;Dragos 指出,中介的每一層轉送都能讀取完整請求和回應。

    推薦理由:報道沿 AI 路由服務的多層轉送梳理請求暴露路徑,並以 AWS 金鑰遭竊案例呈現中介供應商的存取風險。

  2. DEV Community78

    Java4Shell 漏洞可利用 OpenJDK Base64 解碼器觸發遠端程式碼執行

    Java4Shell 是 OpenJDK Base64 解碼器的記憶體破壞漏洞,可在特定環境中形成遠端程式碼執行路徑。漏洞影響 OpenJDK 17.0.6 或更新版本,並須同時具備支援 AVX-512 VBMI 的 x86-64 處理器及攻擊者可控的 Base64 輸入;Calif 以 CVE-2026-114938 披露,CVSS 4.0 評分為 9.2/10。

    推薦理由:文章拆解漏洞的版本、處理器與輸入條件,並指出應用程式套件、容器映像和執行中的 JVM 各自攜帶 Java 執行環境,主機更新未必涵蓋全部副本。

  3. 創業邦82

    智能開始量產:從 Anthropic 上市看大模型的六個趨勢

    王強從 Anthropic 上市材料中梳理出大模型產業的六個趨勢,涵蓋研發、智能體產品、按量計費、企業交付、算力和安全治理。文章再提出五點產業啟示,涉及以自家模型改造研發流程、以交付成果設計產品,以及提升算力效率和建設企業服務體系。

    推薦理由:Anthropic 上市材料呈現大模型競爭從研發與產品延伸至企業交付、算力效率及安全治理,文章以六個趨勢串起這些經營環節的關聯。

  4. DEV Community78

    Inkling 2 Mini 可在 32GB MacBook 離線運行,循環架構為何重要

    Thinking Machines Lab 於 2026 年 11 月 20 日發佈 Inkling 2 Mini,這款 26.4B 參數的循環 Transformer 約佔 20GB 記憶體,可在 32GB MacBook 上離線運行,採用 Apache 2.0 授權。

    推薦理由:文章將本機部署門檻與循環架構的計算取捨並置,並以編碼基準和事實回憶數據呈現其較適合的任務範圍。

  5. DEV Community80

    零數據保留並非安全邊界:如何梳理 AI 提示詞路徑

    零數據保留(ZDR)設定不能阻止提示詞在路由商、服務供應商或遭入侵的伺服器環節外洩,本文並提出梳理及收窄 AI 提示詞路徑的方法。Dragos 在 2026 年 7 月至 11 月向 AI 服務發送近 200 萬條提示詞,發現三家託管服務供應商遭入侵、部分市場轉售商留存提示詞,亦有服務商未遵守私隱設定。文中建議逐跳盤點資料流向、固定上游供應商、在發送前移除機密資料,並以金絲雀憑證監測外洩。

    推薦理由:文章將提示詞外洩拆分為供應商遭入侵、轉售商留存及隱私設定未落實等路徑,並整理逐跳盤點、固定供應商和植入金絲雀憑證的防護方法。

  6. Unite.AI78

    提示詞暴露調查後,OpenRouter 移除三家推理服務商並撤銷 125 個端點的 ZDR 資格

    OpenRouter 於 2026 年 11 月 22 日移除三家推理服務商,並將 125 個端點移出 ZDR 合資格名單,同時通知所有可能受影響的客戶。Dragos 以約 2,000,000 條含獨特 URL 及 canary credentials 的提示詞進行測試,發現至少三家 AI 服務商有資料暴露,部分轉售商亦透過標準記錄查看並保留客戶提示詞。

    推薦理由:這宗事件呈現 ZDR 設定與實際推理路徑之間的落差,並交代 OpenRouter 要求端點恢復資格前須取得供應商保證及通過驗證。

  7. DEV Community85

    黃仁勳辭任後,Nvidia 業績與 GPU/CUDA 集中風險分析

    黃仁勳辭任 Nvidia 董事長、CEO 及董事會成員後,CFO Colette Kress 接任臨時 CEO,董事會正尋找繼任人。Nvidia 截至 10 月的季度收入為 US$ 115.8 billion,按年增長 103%,其中數據中心收入為 US$ 107.6 billion;下一季度收入指引為 US$ 130 billion,不計任何面向中國的數據中心運算銷售。

    推薦理由:文章將管理層接任、季度業績與 CUDA 生態依賴連在一起,並以程式碼對特定 API 的依賴程度,提出檢視供應商集中風險的切入點。

  8. Together AI 研究與產品博客76

    Qwen4 Max 在 Together AI 上線

    Together AI 已在 Together Serverless Inference 上線 Qwen4 Max,並提供 1M-token 上下文窗口。示範中,模型在一次請求內處理 Tornado 全部 344 個檔案、共 652,519 tokens,72 秒後返回修補程式;修補通過兩項回歸測試,完整測試套件的 1,673 項測試亦全數通過。

    推薦理由:測試把 Tornado 全部程式碼與錯誤報告一次交給模型,再以回歸測試核對修補,並列出 69 美仙成本,呈現整個程式庫一次輸入時的驗證方式與費用。

  9. Hacker News 熱門(buzzing.cc 中文翻譯)77

    LookAtMyQuant 將 Inkling-2-Mini 壓縮至 5.38 GB 和 8.87 GB

    LookAtMyQuant 使用量化編譯器將 Inkling-2-Mini 壓縮為 5.38 GB 和 8.87 GB 兩個版本,並比較其基準測試表現。5.38 GB 版本在 GSM8K 得 134/200、HumanEval 得 60/164,高於 9.14 GB 的 Unsloth UD-Q2_K_XL(132/200、49/164)。

    推薦理由:文中比較 5.38 GB 版本與 9.14 GB 的 UD-Q2_K_XL,並列出 GSM8K 和 HumanEval 成績,呈現較小模型檔案在兩項基準上的表現。

11月21日週六
  1. DEV Community83

    Anthropic IPO及私募配售合計約$119.5 billion,對AI基建有何意義

    Anthropic於11月20日宣佈IPO完成,公開發售及同步私募配售合計總額約$119.5 billion。公開發售總額約$93.5 billion,其中約$91.6 billion來自Anthropic售股,其餘來自既有股東;另有$26 billion私募配售予7家策略夥伴,公司兩項交易估計淨所得約$117 billion(按行使全部額外股份購買權計)。

    推薦理由:文章拆分公開發售、既有股東售股與策略夥伴私募的資金構成,並對照多年運算基建承諾,釐清交易總額與公司實際所得的差別。

  2. DEV Community79

    Cairn 智能體自主發現 MONAI Label 零日漏洞並取得 root shell

    AWS 報告,一名被中等信心評估為與中國有關聯的攻擊者指示 Cairn 獲取 shell;Cairn 約 11 分鐘內在 MONAI Label 發現路徑遍歷漏洞,並透過任意檔案寫入及 Python 執行取得 root 權限 shell。

    推薦理由:文章拆解了從 API 路徑遍歷、寫入 sitecustomize.py 到 Python 執行的攻擊鏈,並整理出 SOC 可用的排查線索。

  3. IT之家78

    阿波羅與高盛完成約 440 億美元 GPU 融資定價,供 SpaceX 購買英偉達晶片

    阿波羅全球管理公司與高盛完成約 440 億美元優先及次級票據融資定價,資金將用於 SpaceX 購買 GPU 及相關設備。交易因投資者需求強勁而獲超額認購並擴大規模,成為迄今規模最大的 GPU 融資交易。資金將用於採購下一代英偉達 Vera Rubin 晶片,相關 GPU 及設備預計於 2027 年上半年交付,屆時租賃安排將開始生效。

    推薦理由:交易連結票據融資、SpaceX 的 GPU 採購與後續租賃安排,呈現大型算力建設的資金安排方式。

  4. AWS Machine Learning Blog64

    Amazon SageMaker HyperPod 推出 Global Inference Gateway,支援跨區域及跨叢集的單一端點

    Amazon SageMaker HyperPod 推出 Global Inference Gateway,透過單一 SageMaker 管理端點,在已註冊的叢集之間(包括跨 AWS 區域)路由請求。

    推薦理由:Global Inference Gateway 將 HyperPod 跨叢集及跨區域推理路由整合至單一端點,並以容量、佇列、區域距離和錯誤率分流,呈現減少手動路由與故障切換工作的實作方式。

  5. AWS Machine Learning Blog61

    Standard Bank Group 如何自動化生成式 AI 風險評估

    Standard Bank Group 與 AWS Professional Services 合作,在 AWS 上部署生成式 AI 風險評估流程,依據國際 AI 標準及銀行內部政策檢查每個應用案例並提供審批證據。

    推薦理由:文章拆解了如何把既有銀行政策轉成可重複執行的檢查,並將每項風險結果追溯至證據與政策條文。

  6. Runway:News(網頁)78

    Runway 分享如何逐步建成以智能體運作的軟件工廠

    Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。

    推薦理由:文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。

11月20日週五
  1. 虎嗅78

    中國 AI 算力大遷徙:海外訓練受限,國產算力承接模型訓練

    美國11月19日生效的新規規定,任何數據中心如向中國總部企業提供超過1200萬TPP算力,向該中心運送先進晶片前須取得許可,令中國大模型的海外訓練路徑受阻。文章梳理了中國企業此前借用東南亞及北歐機房訓練模型,以及相關租約和融資在規則收緊後受阻的情況。DeepSeek等團隊則持續適配昇騰等國產晶片,並依託國內算力樞紐推進訓練與推理。

    推薦理由:文章將海外租用受限、國內推理需求擠壓訓練資源,以及國產晶片適配放在同一條遷移脈絡中,交代算力轉向的多重成因。

  2. DEV Community84

    NGINX 的 nginx -v 輸出無法判斷 NGINX2Root 是否已修補

    這篇實測指南指出,單看 nginx -v 無法判斷 NGINX 是否已修補 NGINX2Root 的兩項漏洞,因為 Linux 發行版可回補修正而不更改上游版本號。

    推薦理由:文章以 Debian 13 的兩個同版號套件展示發行版回補如何令版本字串失去判斷力,並整理套件、設定與外部探測三層檢查方法。