跳到正文
Hacker News 熱門(buzzing.cc 中文翻譯)·· 11 天前精選AI 評分79

AWS 推出 AWS Emulator,讓編碼智能體在本機測試 AWS 服務

AWS 模拟器以及当代理编写代码时工程师的工作

AI 導讀

AWS 推出 AWS Emulator,讓編碼智能體可在本機以 AWS 的模擬環境進行測試。AWS Emulator 由智能體撰寫及測試,建基於 400 多個 API 模型,涵蓋 200 多項 AWS 服務,並可免費離線執行。其測試會對照真實 AWS;工程師則透過規格、測試及合併關卡,判定智能體的工作是否正確。

推薦理由

文章以 AWS Emulator 説明,智能體可依公開 API 模型及真實 AWS 建立測試環境,工程師則以規格、測試和合併關卡把守品質。

正文 · 繁體中文

2026年11月11日 • 1671 個詞

2004 年,我加入 Amazon 工作還不到一個月,就有機會挑選一名實習生加入我的團隊。我比同事有一個優勢:我早已聽説有一位才華出眾的年輕人,正在阿姆斯特丹的 Vrije Universiteit 攻讀博士學位(我也剛好在那裏取得博士學位 :-))。我立即選了 Swaminathan Sivasubramanian,也就是大家現在熟悉的 Swami。這大概是我在 Amazon 擔任 CTO 的 22 年間,作出的最佳決定之一。

2004 年聖誕節期間經歷一場災難後,商用關聯式資料庫無法應付 Amazon 的需求。我請 Swami 深入研究 Amazon 實際上如何使用關聯式資料庫。結果發現,70% 的資料庫操作根本不是關聯式操作,而是鍵值操作。這項洞見促成了 Dynamo,Swami 協助設計了其架構。實習結束後,我立即聘用他為全職員工,當時他甚至還未完成博士學位。

引進另一位有主見的學者,令他與 Amazon 務實的工程師之間展開了許多精彩討論;這些工程師透過實際建構大規模系統,成為規模化方面的專家。最終一致性與強一致性、CAP 與 Paxos 等議題,還有更多。隨着時間推移,Swami 成為 AWS 數據策略的主要架構師之一。近年來我們亦看到,他一直是 Amazon 推動 AI 創新的重要思想領袖之一。

我很榮幸他願意撰寫客席文章,談談支撐 AWS 多項服務的奠基性分散式系統工作,以及當 Agent 編寫程式碼時,工程師的工作會如何改變。今天推出的 AWS Emulator,為 Agent 提供了這項工程工作所依賴的測試環境。Swami 的故事再次展現了看不見的工程。

現在,動手建構吧。

-W


AWS Emulator,以及 Agent 編寫程式碼時工程師的工作

今天,我們推出 AWS Emulator,讓程式編寫 Agent 可以使用 AWS 的本機副本進行測試;這亦與我職涯早期的一個專案有關。從許多方面來看,這次推出模擬器,令我想起我們如何透過可靠的軟件工程,提升所建構的分散式系統品質。為此,我們想分享一個故事:

大約二十年前,Werner 請我與 Amazon 最早期的工程師之一 Al Vermeulen 合作,開發一項我們稱為「Alf」的分散式鎖服務。Alf 建基於 Paxos;這是一種以 Leslie Lamport 的研究為基礎的協定,讓一組伺服器就一個值達成共識。Alf 內的複製引擎則讓多部伺服器上的資料副本保持一致。至今,Alf 仍是支援 S3、DynamoDB 等許多複雜分散式系統的服務(雖然它經過多番改良,已有相當大的演變——這部分留待另一篇網誌再談!)。

分散式系統很難測試

Paxos 是分散式系統共識協定中的黃金標準,在學術界也已廣為人知。然而,要按 Amazon 和 AWS 當時不斷擴大的規模實際建置,並不容易。我們不但要處理伺服器和數據中心之間的複製,還要應付數以萬計的用戶同時要求取得鎖,並在網絡分區期間續期租約;而這一切都必須符合核心要求:始終正確!當時,測試分散式系統的最佳方法是大規模系統測試和混沌測試。兩者都有效,但成本高昂,而且無法按需要重現許多類型的情況。這對 Alf 尤其重要,因為它要作為真相儲存庫,為每個用戶提供強一致性的真相視圖,而且在伺服器故障和丟包時也必須繼續運作。多篇業界論文曾指出,基於 Paxos 的鎖定服務很難做對,而測試困難正是其中一個原因。

我們透過盡可能忠實地模擬 Alf 的環境來解決這個問題。我們在 JVM 中執行伺服器,並模擬網絡及其依賴的其餘基礎設施,令整個系統都在一個由我們控制的程式中運作。我們可以隨時丟棄封包和注入其他故障,亦建置了工具來探測模擬環境中的錯誤和擴展性問題。並行錯誤只會在事件按特定次序發生時出現;在模擬環境中,我們可以刻意安排許多這類次序,並檢視 Alf 如何處理每種情況。我們也運用了 TLA+ 等理論技術進行形式化推理,並找出不少問題。透過這種方式測試,我們在 Alf 於真實伺服器上運行之前,排除了大部分並行錯誤。其後在真實環境中測試,則發現了不同問題,因為現實世界會暴露模擬無法呈現的情況。

手工建置的測試環境已不敷應用

模擬和形式化推理都提升了我們應用這些方法的分散式系統的軟件質素。模擬之所以行得通,是因為小型團隊可以手工複製單一系統的環境,而當時 AWS 只有少數幾項服務。但如今 AWS 擁有超過 200 項服務,而呼叫 AWS 的應用程式需要為所用的每項服務建立測試環境。手工建置所有這些環境需要耗費數年工程時間;而現時 Agent 編寫程式碼的速度,遠超任何團隊在正式環境中檢查程式碼的速度。因此,我們想知道 Agent 能否自行建置和測試這些環境。

這個想法來自 AWS Developer Tools 團隊的高級首席工程師 Matt Goldberg。他的假設是,只要提供服務行為的文字描述,以及一個可供核對的真實服務,Agent 就能自行建置該服務的可運作版本。對 AWS 而言,文字描述就是以 Smithy 編寫的一組公開 API 模型;Smithy 是 AWS 用來描述服務操作及其輸入、輸出和錯誤的格式。可供核對的真實服務,就是 AWS 雲端本身,也就是客戶使用的同一個系統。

Agent 會使用保真度測試;這些測試是根據公開 API 模型設計的端對端客戶情境。例如,測試可能會檢查在 Amazon Simple Queue Service 中,已接收的訊息是否會一直對其他讀取者隱藏,直至其可見性逾時結束。Agent 會修正每項測試,直至測試在真實 AWS 上通過,因此測試記錄了 AWS 的行為。接着,Agent 會建構模擬器,直至它通過同一項測試;仍未通過的測試則指出模擬器的不足之處。Matt 起初只處理 SQS;當他向 Kiro 提供一段描述這種做法的提示詞後,Kiro 約 15 分鐘便產出一個尚可的 SQS 模擬器初版。Matt Goldberg 的發佈文章講述了這個原型如何發展成 AWS Emulator。AWS Emulator 的所有程式碼均由 Agent 編寫和測試,並以 400 多個 API 模型為基礎,涵蓋 200 多項 AWS 服務。它可在自己的電腦上免費離線執行。多個 Agent 團隊會以真實 AWS 測試它,並修正發現的不足之處。每項變更都必須通過合併閘門;這是一套完善的自動化檢查,所有變更在進入程式碼庫前都必須通過,其中包括由數個安全 Agent 進行的對抗性審查。

讓基礎架構進入編碼循環

編碼 Agent 會循環運作:先編寫程式碼、執行程式碼,再讀取結果,然後決定下一步要修改甚麼。在分散式系統中,這個循環在基礎架構內運作,因此 Agent 呼叫的服務必須像真實服務一樣運作。做到這一點,Agent 便能在編寫程式碼時檢查自己的成果,更常在首次嘗試時產生正確程式碼,從而提升軟件質素。AWS Emulator 將這套基礎架構放進循環,並讓它在自己的電腦上運作。

Agent 編寫程式碼時,工程師的工作

當 Agent 編寫程式碼並自行檢查成果時,工程師的工作是讓 Agent 有空間自主工作,並建立規格、測試和合併閘門,以判定其成果是否正確。我曾在使用 Kiro 重建複寫引擎時,深刻體會到這一點。Al 和我首次為 Alf 建構這個引擎,花了約四個月。我監督 Agent 四個晚上,才發現它沒有方法檢查自己的結果。為它備妥規格和測試環境後,重建只花了約兩小時。

從一開始,建構 AWS Emulator 的 Agent 就有這兩者:公開 API 模型和真實 AWS。工程師建立了用來執行這些 Agent 的基礎架構。內部版本在一個週末內完成,並在一個月內開始得到採用。要把它打造成穩健的方案,則需要多得多的工作。

AI 時代的軟件質素,取決於工程師為 Agent 設計的防護措施。在 AWS Emulator 中,這些措施包括經真實 AWS 驗證的保真度測試;一套合併閘門,當中有多個安全 Agent 和一名一般程式碼審查員,分別從不同攻擊角度審查每項變更;以及阻止 Agent 修改不應接觸的程式碼的確定性檢查。我們預期 Agent 將負責建構和檢查大部分軟件,工程師則決定要建構甚麼,以及何時可判定工作正確。我們仍在初步探索工程師如何帶領 Agent 團隊建構可靠、高質素的軟件,而 AWS Emulator 的誕生過程正好展示了這種做法在實際中的運作方式。我們預期會繼續增加防護措施,並改進 Agent 建構模擬器的方式。

推出時須知

模擬器程式碼以 CC0 發佈;CC0 是 Creative Commons 將作品奉獻至公有領域的聲明。

我們會在 re:Invent 分享更多這項工作的資訊。完整的提交歷史,以及 Agent 提交的每項問題,均公開於 GitHub 儲存庫;其中的「things-that-do-not-work」資料夾收錄了相關問題,描述 Agent 發現但尚未符合實際 AWS 的行為。


來源:Hacker News 熱門(buzzing.cc 中文翻譯) · allthingsdistributed.com