Amazon SageMaker AI 跨區域推理路由正式開放使用
AWS 於 November 19, 2026 在 Amazon SageMaker AI 正式開放跨區域推理路由,讓應用程式透過單一路由器連接其他 AWS 區域及帳戶中已運行的模型服務資源。路由器優先使用本地健康目的地,並按目的地的健康狀態調整流量;即時推理只會在模型尚未執行時,於另一目的地重試一次。路由功能不另收費,但端點和推理元件仍按標準費率計費;路由器不會建立容量或擴展端點。
AWS 於 November 19, 2026 在 Amazon SageMaker AI 正式開放跨區域推理路由,讓應用程式透過單一路由器連接其他 AWS 區域及帳戶中已運行的模型服務資源。路由器優先使用本地健康目的地,並按目的地的健康狀態調整流量;即時推理只會在模型尚未執行時,於另一目的地重試一次。路由功能不另收費,但端點和推理元件仍按標準費率計費;路由器不會建立容量或擴展端點。
Hitachi Vantara 認為,將 AI 從試點推向正式部署的主要障礙在於數據,而非 GPU,並押注具備智能功能的儲存技術協助解決問題。上週,公司擴展 VSP One,加入物件儲存及數據湖倉功能,可識別含個人資料的檔案,亦支援直接查詢 Apache Iceberg 格式的資料。
Perplexity 發佈 Orchestrator API,以單一端點提供多個前沿及開放權重模型,並按可用性、容量和延遲選擇服務商。API 支援 OpenAI Chat Completions、OpenAI Responses 及 Anthropic Messages;同一模型可在服務商之間自動故障切換,費用按回答模型公開的每 token 費率計算。
Asif Razzaq 比較並排列 2026 年 13 款智能體閘道,評估流量覆蓋、身分與授權、部署、成熟度及價格透明度。文中指出,只有 Kong、Bifrost、Gravitee 和 Prisma AIRS 原生治理 LLM、MCP 與 A2A;其他方案的 A2A 支援多為預覽、透傳或僅限 JSON-RPC。
跨雲訓練工作應在分配 GPU 前,按實際作業規模預檢數據讀取、工作節點互傳和 checkpoint 寫入,避免網絡或儲存瓶頸令加速器閒置。檢查應模擬並發讀取、all-reduce 或 broadcast、實際大小的 checkpoint 寫入,並核對端點 DNS、配額及事先訂明的門檻。若未達標,可調整工作位置、先把數據暫存至運算附近,或縮小工作規模;預檢結果應隨每次作業記錄。
作者 Vadim Albarov 公開 ASP.NET Core 開源函式庫 BehaviorLock,以測試記錄 API 端點的 SQL 及外連行為,並封鎖未列入設定檔的存取。
GitLab CLI !4485 修正 glab mr view 將輸出重新導向至檔案時遺漏衝突狀態的問題,純文字輸出現在會顯示 true、false 或 unknown。
ServeTheHome 分析 2026 年 11 月 TOP500 榜單,發現新增 28 個系統,是其自 2018 年 6 月開始追蹤以來的最低數量。新增系統佔全榜 5.6%,合計 Rmax 約 1.0 EF/s;榜上系統平均已在榜約 3.2 年,創追蹤期新高。
智能體 AI 正透過編碼智能體與 AI 閘道重構開發者工作流程,令 AI 從程式碼自動補全工具轉為可執行整項工程任務的系統。編碼智能體會讀取程式碼庫、修改檔案、執行測試並反覆調整;AI 閘道則負責路由請求、管理 tokens、執行政策及記錄用量。
文章説明如何構建 AI Gateway,將多個模型供應商的接入、路由、身份驗證、用量政策與故障處理集中到共用基礎設施層。文章區分任務選模、供應商路由及部署負載平衡,並説明重試、供應商回退與模型回退的不同作用。文中以 Vercel AI Gateway 和 LiteLLM 示範託管整合及自建部署,並指出預算控管、模型能力相容性和串流故障處理須按實際部署驗證。
Nettrux 在其 Agent 指南以純文字列出部署閘門,明示 x402 發現、真實款項結算及訪客結帳均未啟用。
DapuStor 推出支援原生冷板液冷的 R6 E1.S 企業級 NVMe SSD,面向高密度 AI 及雲端數據中心,並兼容主流 AI 伺服器架構。該 SSD 的隨機讀寫延遲低至 48/7 µs,並支援 NVMe 2.0、OCP 2.5、FDP、端到端數據保護及多種數據安全機制。
文章説明如何在真實 Android 手機或 iPhone 上測試地理位置行為,指出單改 GPS 不足以模擬特定城市用戶的體驗。GPS、出口 IP、時區和語言/地區設定須逐項核對;SIM 電訊商及 App Store/Google Play 帳戶國家不受這些設定影響,代理流量亦可能因 DNS、QUIC 等路徑繞過代理。
作者分享租用雲端 GPU 微調克里米亞韃靼語模型時的成本教訓,指出填充運算及周邊流程故障會增加訓練費用和耗時。短對話填充至 seq_len = 1024 時,有用 token 比例約為 5%;採用 packing 後升至 99%,第二階段成本由舊方法估算的 $331 至 $413 降至 $14 至 $17。文章亦提出按實際處理量估算成本、按工作時長設定檢查點,以及在本機完整演練訓練流程等做法。
文章説明,50,500 bytes 的檔案在以 1,024 bytes 為單位的系統中可顯示為「49 KB」,但會超出 50,000 bytes 的上載上限。KB 可指 1,000 bytes,KiB 則指 1,024 bytes;PHP 和 nginx 的 `50K` 設定採 1,024 bytes 計算,與 50,000 bytes 的程式檢查不同。
Claude Task Master 的 `claudetm merge-pr` 可處理 PR 從等待 CI、分析並修復失敗、處理審查意見,到獲批後合併及核實成功條件的流程。
新南威爾士州規劃入口網站於 2026 年 11 月 19 日開始公開展示 Stockland 擬建 Kemps Creek 數據中心的環境影響報告,園區最高用電量為 444 MW。
Perplexity 發佈企業 AI 託管式 RAG 指南,説明供應商可管理向量資料庫、嵌入模型、檢索器及資料攝取等流程,並把這種模式稱為 RAG as a service(RaaS)。指南比較本地 RAG、自建雲端系統及 RaaS 三種部署模式,並列出內部知識管理、客戶支援和銷售協助等用途,以及部署、維護、成本和擴展方面的取捨。
AWS 將 PolyAI 的 Dialog-RSN-1 加入 Amazon SageMaker JumpStart 目錄,提供一鍵部署、評估工具及四種最佳化配置,並在客戶自己的 AWS 帳戶內執行端點。
Monumental Labs 宣佈其首個同類端到端自主 CNC 石材雕刻系統,使用 KUKA KR240 機械人。系統可將 3D 模型和石材轉換成數以百萬計的刀具路徑點及方向,並生成運動學資料和模擬。團隊的目標是在機械人製造流程中實現無人介入,但雕塑定稿仍由藝術家和設計師決定,最後表面修整則由人工完成。
Google 與 Blue Origin 簽署 Project Suncatcher 發射服務協議,計劃以 New Glenn 火箭部署衞星數據中心。每枚衞星的容量約相當於一個數據中心機架,首次發射安排在 2029 年初。文章指出,太空散熱、輻射、發射成本及軌道碎片風險均是擴展障礙;Google 於 10 月部署的 AI 伺服器衞星每次只能運作 15 分鐘。
OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。
推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。
PolyAI 的即時複雜對話推理模型 Dialog-RSN-1,現已可透過 AWS Marketplace 和 Amazon SageMaker JumpStart 使用。模型可部署為用戶 AWS 帳戶內的 SageMaker endpoint,直接理解通話音訊、推理及即時回應;目前只支援英文。
Preferred Networks(PFN)與 MangoBoost 簽署備忘錄,將共同評估如何提升 AI 推理系統的效率與擴展性。雙方會研究結合 MN-Core L 系列、GPU、網絡、儲存及推理軟件的系統方案,評估先由模擬環境開始,待 MN-Core L1000 硬件樣本可用後再進行實機測試。MN-Core L1000 預計於 2027 年開始提供。
作者列出 GitHub Actions 工作流程中 4 類可能讓攻擊者取得機密或寫入權限的錯誤,並逐項提出修正方法。修正涵蓋將不可信文字經環境變數傳入、避免在 pull_request_target 工作中執行 PR 程式碼、以完整 commit SHA 固定 Actions,以及設定最小權限。
AppFirstAid 的指南説明,Supabase 42P17 錯誤源於兩條互相查詢的 RLS 政策,並介紹如何透過共用 security definer 函數解除循環而不關閉 RLS。
NVIDIA RTX Spark 桌面電腦於 2026 年 11 月 18 日在美國開售,ASUS、Dell 和 MSI 機種售價由 $4,399.99 起,主打本機運行 120B 參數大語言模型。
Ali Ahmed 示範如何在 Node.js 中以約 15 行、無需額外套件的 Promise 池限制並行呼叫數量。各工作通道從共用索引取項目,結果按輸入順序保存,單項錯誤會記錄為結果而不阻斷其他工作;測試中 20 項、上限 4 時,峯值並發為 4。針對 LLM API,文章指出並行上限不能代替 token-bucket 速率限制,建議兩者配合使用。
MRZ OCR 會混淆形似字元,文章説明如何利用校驗位修正護照機讀區(MRZ)的 OCR 錯誤。純數字欄位可直接將字母映射回數字;混合欄位則應搜尋替換候選,但單一校驗位有十分之一機會讓錯誤讀法通過。保留原本已通過校驗的讀法,只接受改動最少且唯一的修正,否則要求重新拍攝。
a16z 宣佈推出 FDE Fellowship 第二期,招募 FDE 和 Applied AI 領袖參加為期 8 週的計劃。活動每兩週舉行晚宴及聚會,大多在 SF 和 NYC 舉辦,參加者可在任何地方。申請現已開放,並於 2026 年 12 月 31 日截止。
NVIDIA 探討如何透過 GPU 原生資料擷取,讓科學儀器支援即時 AI。即時分析感測器測量數據可讓 AI 調整流程、指引實驗及搜尋更佳操作條件,而數據傳輸和處理速度限制,往往影響儀器設計。
EverXCloud 公開免費 LLM VRAM 計算器及 GitHub 原始碼,並説明其估算推理、微調和圖像模型記憶體需求的公式。推理估算將權重與 KV cache 相加後計入額外開銷;例如 70B 模型在 BF16 下,權重需要 140 GB,尚未計入 KV cache 和額外開銷。多 GPU 估算未計互連和框架開銷,結果只適合作規劃參考;長租前應在目標 GPU 上測試。
Google 建立「Mirror Dimension」隔離網絡,用來測試 AI 瀏覽智能體。該環境模擬社交媒體及銀行儀錶板。
Ollama 模型即使能載入 GPU 記憶體,較長的上下文仍可能因 KV cache、執行緩衝區及其他 GPU 工作而導致 CPU 卸載、回應變慢,或無法按預期上下文長度執行。
Alan West 分析如何以 nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft 草稿模型或 Qwen3.8-27B 內置 MTP,在 llama.cpp 加速 Qwen3.8-27B;他指出單張消費級 GPU 上,草稿模型未必更快。
智能體 AI 由試點走向生產,正令新雲服務商的競爭焦點由 GPU 數量轉向支援企業部署的全球整合平台。Vultr稱,其數據中心區域可透過單一網絡及 API 管理多個設施,並下單 $1.2 billion 購買 AMD Helios 機架級系統。Vultr高層指,推理模型帶動智能體多步推理及工具呼叫,也增加 CPU 需求。
文章提出一套建構可靠 AI 銷售智能體的實務架構,把公司研究、身份確認、客戶資格評估、個人化訊息及執行分成可獨立檢查的階段。各智能體之間應傳遞經驗證的結構化資料,並以系統控制防止重複發送及執行退訂要求,重要操作則應保留人手監督。
MLV 切換驗證不能只比對行數,應依序檢查行數、鍵值及欄位彙總,以識別數值、日期或狀態的靜默偏差。文章建議按資料類型設定比較方法和容差,並為每個欄位記錄負責人、檢查方法及簽核。驗證工作應輸出機器可讀結果和有限的差異樣本,作為發布證據,並在 MLV 有重大變更時重新執行。
zram 可壓縮記憶體,讓 Linux 用戶從現有硬件取得更多容量,減少添置 RAM 的需要。作者測試顯示,5.7G 數據只佔用 1.7G RAM,壓縮比為 1:3.35。記憶體壓縮會稍微增加 CPU 負載,並令部分程序延遲增加。
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。