Runway 如何將夜間閒置推理 GPU 調配至研究集羣
Runway 建立名為 deckard 的容量控制器,按預先計算的時間窗口,在非繁忙時段將閒置推理 GPU 從生產集羣調配至研究集羣,並在早上需求高峯前調回。控制器使用過去 7 天每分鐘的 SQS 請求到達數,透過邊際收益分配 GPU,並以離散事件模擬檢查各工作負載的 p98 等待時間目標。
Runway 建立名為 deckard 的容量控制器,按預先計算的時間窗口,在非繁忙時段將閒置推理 GPU 從生產集羣調配至研究集羣,並在早上需求高峯前調回。控制器使用過去 7 天每分鐘的 SQS 請求到達數,透過邊際收益分配 GPU,並以離散事件模擬檢查各工作負載的 p98 等待時間目標。
Hugging Face 推出開放基準 ScarfBench,評測 AI 智能體遷移企業 Java 框架的能力。它涵蓋 Spring、Jakarta EE、Quarkus,包含 34 個應用程式、102 個框架實作及 204 項遷移任務,並驗證建置、部署和行為。現有最強智能體的行為成功率低於 10%,Jakarta EE 遷移尤其具挑戰。
香港企業可透過以 WhatsApp 為核心的 AI Sales 架構,自動處理入站資格篩選、行為觸發跟進、銷售對話分析、資料同步及對話內付款。文章建議按 B2C 零售或 B2B 專業服務配置 SleekFlow、HubSpot、Make.com 等工具,並由 AI 負責標準流程、人工處理高價值判斷與客戶關係。原文指出,約 24% 的 B2B 企業已部署具工作流驅動能力的 AI 系統。
AI CRM 系統結合預測分析、生成式 AI 和自動化,協助企業識別高意向潛客、預警客戶流失,並生成情境化跟進內容。SleekFlow 作為 AI 智能通訊層,支援 WhatsApp 與 HubSpot 或 Salesforce 雙向同步,並提供對話摘要、情境化回覆及多代理架構。
Google Research 已將 Multi-Token Prediction(MTP)架構部署至 Pixel 9 和 10 系列的 Gemini Nano v3,透過凍結主模型權重加快裝置端文字生成。
推薦理由:文章對照整合式 MTP head 與獨立草稿模型,説明直接利用主模型狀態如何提升候選 token 準確度,並改善 Pixel 端的速度與記憶體效率。
Hugging Face Blog 示範用一條命令在 HF Jobs 上以 vLLM 啟動私有、OpenAI-compatible 的 LLM 端點。內容提供 curl 和 Python OpenAI client 呼叫範例,並示範以 SSH、Gradio 及 Pi 延伸使用;每次請求須附上具該 Job 讀取權限的 HF token。
推薦理由:文章把 HF Jobs、vLLM 與 OpenAI-compatible API 的部署、驗證和停止流程串成可複用命令,並説明私有端點的 token 權限與成本控制。
Google Research 提出線性彈性快取,將頁面淘汰建模為 ski rental 問題,按即時工作負載動態調整快取容量,以降低快取管理的總擁有成本。在 Spanner 生產環境測試中,記憶體用量減少 15.5%,快取未命中僅增加 5.5%,總擁有成本約降低 5%,實際 I/O 成本影響僅 0.5%。
Mistral AI 為 Connectors 推出多項管理與安全功能,涵蓋工作區及組織層級的存取控制、具 connector scope 的 API keys、多帳户連接器,以及 MCP 連線除錯。
推薦理由:這次更新把企業連接器的權限、執行身份與故障定位納入同一套控制,呈現智能體投入組織日常工作所需的治理環節。
Mistral AI 發佈文件解析模型 Mistral OCR 4,除提取文字外亦輸出邊界框、區塊類型和信心分數,並支援 170 種語言、10 個語言組別。獨立人工偏好評估的平均勝率為 72%,模型在 OlmOCRBench 得分 85.20;官方提醒自動基準存在評分侷限,建議以自有文件評估。
推薦理由:文章列明 OCR 4 的結構化輸出和自動基準評分侷限,為企業按自身文件評估解析、檢索及資料管線提供具體參照。
OpenAI 為 ChatGPT Enterprise 推出全新用量分析及更新版支出控制。這些功能協助機構管理成本,並更有信心地擴展 AI。
National AI Monitoring 已進駐將軍澳 InnoPark 的 Advanced Manufacturing Centre,並成為 Pilot-Scale Manufacturing Laboratory 的首家進駐企業,設立 AI 基建監測系統研發及試產基地。
香港科技園公司與SenseTime簽署合作備忘錄,分階段建設香港最大本地AI數據中心,目標在2030年前達到40,000P+算力。首期預計於今年年底完成,中心將配備多種國產GPU計算集羣,支援模型訓練、推理及大規模應用部署。合作亦計劃為金融、教育、醫療及城市治理等領域提供算力支援。
OpenAI 推出 Partner Network,並投入 $150M 支援全球合作夥伴。這項計劃旨在加快企業 AI 的採用、部署與轉型。
Hugging Face Blog 第二篇 PyTorch 效能分析教程,從 nn.Linear 追蹤至 GeGLU MLP。
推薦理由:文章對比 eager、torch.compile 與 Liger,展示 MLP 融合如何減少 HBM 往返,以及固定形狀特化與跨形狀通用的取捨。
OpenAI 開放企業透過 Oracle Cloud 使用 OpenAI 模型與 Codex,並可利用現有承諾建構及部署 AI。此方式涵蓋企業安全與治理。
LSEG 使用 OpenAI,在全球業務中擴大可信 AI 的應用規模。此舉加速洞察產出、縮短發布週期,並賦能 4,000 名員工。
Hugging Face Blog 示範如何把 GitHub Actions 的 CI 工作交由 Hugging Face Jobs 執行,並以 Trackio 展示透過臨時 self-hosted runner 連接兩者的方式。
推薦理由:文章給出 GitHub Actions 接入 Hugging Face Jobs 的操作流程,並説明 workflow 標籤設定。
NVIDIA 發佈 Nemotron 3.5 Content Safety,將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT,明確訓練覆蓋 12 種語言,並承接其約 140 種語言的 zero-shot 泛化;可選 THINK mode 會輸出推理軌跡。
推薦理由:Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型,並附訓練資料集,提供企業安全審核的部署參考。
H Company 發佈 Holo3.1 電腦操作模型系列,擴展至網頁、桌面及手機環境,並提供本地推理量化權重。AndroidWorld 上,35B-A3B 模型的分數由 67% 升至 79.3%,4B 和 9B 版本由 58% 升至 72%。
推薦理由:文章同時列出不同尺寸、量化格式,以及 AndroidWorld 和 DGX Spark 數據,讀者可據此比較本地部署的性能與速度取捨。
OpenAI 已在密歇根州為 Stargate 旗下 1GW 數據中心項目動工,以建設 AI 基礎設施。項目旨在擴大 AI 可及性、創造就業並支持當地社區。
推薦理由:可從項目規模及所列目標理解 Stargate 在密歇根州的基礎設施規劃,涵蓋擴大 AI 可及性、創造就業和支持社區。
OpenAI 宣佈,其前沿模型與 Codex 現已在 AWS 正式提供,為企業提供透過既有 AWS 環境使用 OpenAI 的途徑。企業可沿用熟悉的 AWS 控制措施及採購流程,並加快由評估走向生產。
推薦理由:這項可用性變化讓企業沿用既有 AWS 環境、控制措施及採購流程接入 OpenAI,並加快由評估推進至生產。
Hugging Face Blog 發佈 PyTorch 效能分析系列首篇入門指南,示範 torch.profiler 的設定,以及 profiler 表格和 CPU、GPU 軌跡的讀法。
推薦理由:文章以矩陣乘加示範如何結合 profiler 表格與 CPU、GPU 軌跡辨認瓶頸,並區分調度層融合與實際 GPU kernel 融合。
Google將新型密碼學聚合協定與可信執行環境(TEE)結合,為私隱分析建立零信任防護,確保Google只能取得匿名化的羣體彙總洞察。新協定讓裝置以單一訊息提交資料,免須在多輪互動期間持續在線;密碼學層確保個人原始資料不會在任何伺服器記憶體中暴露或重建。
Hugging Face 梳理 AI 智能體常見術語,解釋 Model、Scaffolding、Harness、Agent 等概念及其區別。文中將 Harness 定義為調用模型、處理工具調用及決定何時停止的執行層,Scaffolding 則涵蓋系統提示詞、工具描述、回應解析和上下文管理等行為定義層。
推薦理由:文章以模型、Scaffolding、Harness 與 Agent 的分工建立實用心智模型,並把這套脈絡延伸至訓練術語,便於理解智能體系統的組成與相關討論。
PaddleOCR 3.5 為支援的 OCR 與文件解析模型加入 Transformers 推理後端,開發者可透過 `engine` 參數選擇。`engine_config` 可設定 dtype、裝置配置及 attention implementation;若優先考慮 OCR 或文件解析吞吐量,文章通常建議使用預設的 paddle_static 後端。
OpenAI 與 Dell 合作,將 Codex 帶進混合式及本地部署企業環境。合作協助企業跨數據與工作流程安全部署 AI 編碼智能體。
Runway 分析 DTensor 在分散式訓練中的取捨,指出它以張量放置資訊和自動重新分佈保障梯度正確性,但也帶來執行時開銷。同一訓練堆疊中,一次注意力模組重構令某次訓練的 MFU 下跌約 8 個百分點;穩定初期吞吐量波動達 ±22%,最差工作負載在編譯穩定期間 GPU 閒置 18% 至 27%。
OpenAI 為 Codex 在 Windows 上構建安全有效的沙盒,支援 Codex 在 Windows 上運行。沙盒設有受控檔案存取及網絡限制。
企業透過信任、治理、工作流程設計及規模化品質,推動 AI 從早期試驗走向影響力持續累積。
OpenAI 推出新企業部署公司 DeployCo,旨在協助組織將前沿 AI 投入生產,並轉化為可衡量的業務成果。
Runway 開源 confingy,一個用於配置 Python ML 系統的函式庫,並已將內部的 YAML 配置遷移至 confingy。它提供序列化與反序列化、延遲載入、驗證及轉譯功能,並透過 @track 記錄類別的建構函數參數等資訊。
OpenAI 透過沙箱、審批、網絡政策及智能體原生遙測,安全運行 Codex。這些措施支援安全且合規地採用編碼智能體。
Berkeley AI Research 梳理自適應並行推理(Adaptive Parallel Reasoning,APR)的研究進展,將其界定為模型在推理時自行決定何時並行、分配多少執行緒及如何協調控制流的範式。
OpenAI 推出 MRC(Multipath Reliable Connection),這項新型超級電腦網絡協定旨在提升大規模 AI 訓練叢集的韌性與效能。MRC 透過 OCP 發佈。
OpenAI 重建 WebRTC 技術堆疊,為即時語音 AI 提供低延遲及全球規模支援,並支援流暢的對話輪替。
Runway 以 NCCLBack 讓 GPU 推理工作節點從已載入權重的對等節點接收模型權重,將冷啟動時間由數分鐘縮至數秒,快 60 倍。系統每天節省 347TB 傳輸量及 6,500min 推理時間。它透過 Redis 尋找並確認對等節點,再以 NCCL 廣播權重、抽樣雜湊驗證完整性;文章亦整理了生產環境中的失敗模式及回退處理。
OpenAI 擴大 Stargate 規模,新增數據中心容量以建設支撐 AGI 的算力基礎設施。新增容量旨在滿足持續增長的 AI 需求。
Hugging Face Inference Providers 現已支援 DeepInfra,初期提供對話與文本生成,可使用 DeepSeek V4、Kimi-K2.6、GLM-5.1 等開放權重 LLM。
OpenAI 的 ChatGPT Enterprise 與 OpenAI API 現可在 FedRAMP Moderate 授權下使用,支援美國聯邦機構安全採用 AI。
Mistral AI 開放企業 AI 編排層 Workflows 公開預覽,讓開發者以 Python 編寫流程,並可發佈至 Le Chat 供組織成員觸發。Workflows 提供持久執行、Studio 逐步追蹤及人工審批暫停與恢復,並支援將 workers 和資料處理部署在企業自有環境。
推薦理由:Workflows 將持久執行、Studio 追蹤與人工審批整合,並支援 workers 在企業自有環境運行,呈現企業 AI 流程走向生產的部署設計。