不要使用 argmax,改用分佈匹配
文章提出以分佈匹配目標取代 argmax,將獎勵函數轉換為狀態的目標機率分佈,並縮小預測未來狀態分佈與目標分佈之間的差距。當多種結果都可接受時,這種方法會讓它們都有一定機會出現,避免過度擬合單一最優解。分佈匹配亦可理解為加入熵正則化,並可透過貝葉斯推斷整合獎勵函數的不確定性。
文章提出以分佈匹配目標取代 argmax,將獎勵函數轉換為狀態的目標機率分佈,並縮小預測未來狀態分佈與目標分佈之間的差距。當多種結果都可接受時,這種方法會讓它們都有一定機會出現,避免過度擬合單一最優解。分佈匹配亦可理解為加入熵正則化,並可透過貝葉斯推斷整合獎勵函數的不確定性。
人類性慾的發展呈現了一個對齊案例:演化能在人類青春期引發強烈的性慾,即使這種驅動並非從大腦發育之初便存在,也似乎不主要依靠強化學習。作者指出,性慾並非完美符合演化上的生育目標,但這種相對穩健的驅動或可為理解如何對齊 AI 系統提供參考。
多層控制和隔離措施可並行部署,降低 AGI 突破防線的機會;但各層防護失效並非完全獨立,面對超級智能時,失效機會可能高度相關。反覆根據同一套安全測試調整並重新部署模型,則可能令其過度適應測試,繞過防護,因此安全評估須謹慎處理多重比較與過度擬合。
Alignment 研究不能只靠先驗推理和理論建構,還需要持續取得實證證據,才能建立有力的理論並推進研究。文章建議研究現有 ML 模型,並在能力水平不構成威脅的模型中誘發 mesaoptimizers、欺騙及 gradient hacking 等行為,以安全研究和量化其特性。這些證據可用來發展能推廣至更大型模型及 AGI 的理論。
Beren Millidge 提出按能力層級建立 AGI 威脅模型,以評估對齊方法須應對的對手,並保障 AGI 的安全測試與研究。文章列出四種情境,從擴展現有 ML 技術的近期 AGI,到計算能力不受限的假設性 AIXI。作者指出,只着眼於最強情境可能忽略成本,亦令研究者錯過適用於較有限 AGI 的方案。
對齊能力的上限及失效所造成的協調成本,會決定人類文明與長期未來的形態。相較於人類對齊,AI 對齊可直接控制心智架構、訓練資料和訓練過程,理論上能達到更高程度。協調成本亦限制大型國家、組織和企業的規模與穩定性,內部問題可導致衰退或瓦解。
OpenAI 正在為 DALL·E 推行一項新技術,令其生成的人物圖像更準確反映世界人口多樣性。這項措施旨在減少 DALL·E 2 的偏見並改善安全性。
Hugging Face 多模態學習團隊為研究項目制定倫理章程,把倫理原則納入機器學習研究生命週期。章程列明須防範歧視、侵犯私隱與權利、生成個人識別資料及有害虛假資訊,並警示醫療、法律、金融和移民等高風險用途。文件截至 2022 年 5 月仍在完善,倡議透明、開放可重現、公平、自我批判及尊重貢獻。
OpenAI 分享對已部署模型的安全與濫用問題的最新思考,期望協助其他 AI 開發者應對相關問題。
文章指出,預測處理(PP)智能體若只是模仿人類行為、最大化數據的對數似然,或可避免追求存在性風險,但這不足以證明 PP 能解決價值對齊問題。PP 架構描述的是最佳化程序,並未限定目標;智能體仍可配合任意目標或效用函數。只模仿人類行為的智能體雖可能較安全,卻難以完成超越人類能力的任務,反映安全與能力之間的取捨。
遞歸自我改進的 AI 面對與人類創造者相似的 AI 安全難題:它無法準確預測能力提升後的自己會如何行動,價值函數也可能改變。每次 FOOM 都要成功進行自我改進並解決 AI 安全問題,這可能拖慢進程;中間階段的 AI 也可能與人類合作設計安全的後繼 AI。
文章提出以貝葉斯方法學習人類價值:不鎖定單一價值函數,而是建立可能價值函數的後驗分佈,並按其後驗概率加權計算期望價值,以降低價值函數錯誤外推帶來的風險。作者指出,極端離羣價值仍可能主導結果,並提出以中位數取代平均值、正規化價值函數及對外推不確定性設定先驗等可能方法;這些做法不能保證安全,但或可提升安全性。
OpenAI 參與一份由 30 個機構、58 位共同作者撰寫的報告,列出 10 項提升 AI 系統相關主張可驗證性的機制。開發者可藉此提供 AI 系統安全、具保安性、公平或保障私隱的證據;用户、政策制定者及公民社會則可用來評估 AI 開發流程。
為降低 AGI 單一目標極端最佳化帶來的安全風險,文章提出在效用函數中加入計算量、能源消耗或對地球影響等懲罰項,類似機器學習的正則化。另一個構想是懲罰 AGI 過快達成目標,以便把自我改進或超級智能行動放慢至可供人類或其他機器智能審核的速度。這些方法可能有漏洞,且未必能抵消遙遠未來的高額回報。
OpenAI 撰寫論文,主張長期 AI 安全研究需要社會科學家,確保 AI 對齊算法在涉及真實人類時奏效。論文指出,讓先進 AI 系統與人類價值觀對齊,須處理人類理性、情緒與偏見心理學上的諸多不確定性;OpenAI 計劃聘請社會科學家全職投入相關工作,並促進機器學習與社會科學研究人員合作。
OpenAI 提出一種 AI 安全技術,透過訓練智能體互相辯論議題,再由人類判定勝方。