Google Research 推出 Vibe Coding XR,以 Gemini 和 XR Blocks 生成 Android XR 原型
Vibe Coding XR: Accelerating AI + XR prototyping with XR Blocks and Gemini
Google Research 宣佈 Vibe Coding XR,結合 Gemini 與 XR Blocks,將自然語言描述轉成具物理感知能力的 Android XR 應用,最快可在 60 秒內生成。
文章展示如何以 XR Blocks 架構、範例模板和專用系統提示詞約束 Gemini,令自然語言生成的 XR 原型遵循既有 API 與互動設計規範。
大型語言模型(LLM)和代理式工作流程正改變軟件工程與創意運算。我們正見證「氛圍編碼」興起:LLM 直接把人的意圖轉化為可運作的程式碼。Gemini Canvas 等工具已可用於 2D 和 3D 網頁開發。然而,延展實境(XR)仍不易入門。XR 原型製作通常需要拼湊零散的感知流程、複雜的遊戲引擎,以及底層感應器整合。
快速以氛圍編碼製作原型可解決這個問題,讓資深開發者直接在頭戴裝置上測試新 UI、3D 互動和空間視覺化。這種快速驗證可省下數天時間,避免花在最終可能被放棄的構思上,也讓製作互動式教育體驗更容易,用來展示自然科學和力學概念。
今天,我們宣佈推出 Vibe Coding XR,以填補這個空隙。此工作流程把 Gemini 作為創作夥伴,並配合我們以網頁為基礎的 XR Blocks框架。系統結合 Gemini 的長上下文推理能力、專用系統提示詞和精選程式碼範本,自動處理空間邏輯,並在 60 秒內把自然語言轉化為具備物理感知能力、可運作的 Android XR 應用程式。
我們團隊將在 ACM CHI 2026 的 Google 展位現場示範。你今天也可以在此試用。
Vibe Coding XR 工作流程
過去一年,我們持續設計和改進 Vibe Coding XR 流程,務求順暢易用。以下是一個例子:
- 用戶無須具備 XR 知識,直接描述想要的效果:用戶先開啟XR Blocks Gem,並在配備 Chrome 的Android XR頭戴裝置(例如Galaxy XR)上使用,再用鍵盤或語音輸入提示詞,例如「創作一朵美麗的蒲公英」。用戶亦可選擇在桌面版 Chrome 建立 XR 應用程式,並透過 XR Blocks 內置模擬器預覽。
- Gemini 設計並實作 XR 體驗:Gemini 參考 XR Blocks 的範例,運用多步規劃能力和進階推理來配置場景、感知和互動,再建構互動式 XR 應用程式。
- 即時示範並快速迭代:在 Android XR 中,用戶對「進入 XR」按鈕作出捏合手勢,便可立即看到結果:一朵會在捏合時被吹散的動畫蒲公英。用戶亦可按「分享」按鈕,為應用程式建立可供分享的公開連結。
為方便測試,我們亦在桌面版 Chrome 提供「模擬實境」環境,讓創作者在部署到 Android XR 裝置前,快速製作原型並測試互動。多項進階感知功能,例如深度感測、手部互動和物理效果,在 Android XR 上體驗效果最佳。
Vibe Coding XR 技術簡介
Vibe Coding XR 運用 Gemini 的長上下文能力和思考流程,讓它以 XR 設計師和工程師專家的身份工作。我們開發了專用系統提示詞,透過 XR Blocks 架構及範例「教導」Gemini,內容包括房間尺度 XR 環境、套件管理和 XR 互動最佳做法指引。
XR Blocks 框架以易用的網頁技術建構,例如 WebXR、three.js 和 LiteRT.js。其核心引擎負責管理空間運算所需的複雜子系統,包括環境感知、XR 互動和 AI 整合。我們在提示詞上下文中加入以下元件:
- 角色與指引:設定 LLM 為領域專家,並遵循房間尺度 XR 環境的最佳做法(例如空間佈局、比例和互動距離)。
- 套件管理:説明如何處理 XR Blocks 中的相依套件,並強制採用建議的預設樣式。
- 原始碼和範本:在上下文視窗中提供一組精選 XR Blocks 範本和範例的原始碼。以此作為依據可減少幻覺,並促使模型嚴格遵守有效的 API 呼叫和既定設計模式。
應用場景:由提示詞走進現實
我們以氛圍編碼生成的原型示範 Vibe Coding XR 工作流程的多樣用途:
- 數學導師:提示詞為 「以幾何方式呈現歐拉定理。透過不同例子,配合重點標示,解釋頂點、邊和麪。」 Gemini 靈活地選用四面體、立方體和八面體作為三個例子,在 XR 中呈現並讓用戶捏合手勢切換不同的標示方式。
- 物理實驗室:提示詞為 「製作互動式物理實驗:在天秤兩側放置不同物件,並使用不同重量(附有標籤)令天秤平衡。」 XR 用戶可以拿起和放下不同重量,直觀地學習現實世界中基礎的槓桿式天秤如何運作。
- 沉浸式化學:提示詞為 「建立互動式化學實驗室,讓用戶捏合點火並觀察三個實驗:在空氣中點燃甲烷,並把乾燥、冰冷的燒杯放在火焰上方:火焰呈淡藍色,燒杯內壁形成液滴。在空氣中點燃乙烯:火焰明亮,產生黑煙並釋放熱量。在空氣中點燃乙炔:火焰明亮,產生濃煙並釋放熱量。」 Gemini 設計教學卡片,並為每個實驗呈現 3D 體積視覺化,帶來安全又互動的混合實境體驗。
- 薛丁格的貓:提示詞為「在 XR 中以美觀方式呈現薛丁格的貓。手指捏合會令一隻貓(精細的 3D 模型)進入盒子。接近盒子 50cm 內時,盒子會一分為二並分別向左右移動,盒子的前壁變成透明。你會同時看見兩種狀態的貓(生和死),以示量子狀態。再次捏合後,其中一種狀態便成為現實。盒子打開後,你會看見貓生或死。再捏合一次即可重新開始。」Gemini 説明量子狀態的呈現方式:用戶捏合手勢引導 3D 貓進入盒子。靠近盒子時,盒子會分開並同時呈現貓生與死兩種狀態;再次捏合則令疊加態收縮成單一現實。
- XR 運動:提示詞為 「讓我用雙手打排球,並與環境發生碰撞。排球要有紋理,並從紅色圓環緩慢發射,讓我更容易用手拍回。」 Gemini 建立一個有紋理的球,能回應雙手動作和實體環境。
- XR 恐龍:提示詞為 「在 XR 中建立 Chrome 恐龍遊戲。恐龍以體素風格呈現在用戶面前,每棵仙人掌都會沿半透明路線向用戶衝來。加入音效。」Gemini 建立經典Chrome 恐龍遊戲的 XR 版本,大幅把原型製作時間由數小時縮短至數分鐘。
我們會加入更具體的上下文,例如使用NASA 系外行星數據、程序生成或建立高解像度紋理;這些內容可在XR Blocks Gem中使用,並示範 Vibe Coding XR 流程中的反覆改進:
初步技術評估
評估 XR 應用程式一直不容易,主要是因為通常需要親身在裝置上測試,並由人主觀評估。為測試 Vibe Coding XR 流程的成效,我們建立了一套用於生成 XR 應用程式提示詞的初步資料集:VCXR60。
VCXR60 取材自四場各一小時的內部工作坊,包含 20 位 Google 員工提供的 60 條獨特提示詞。我們使用此資料集測量推論時間和一次生成成功率,具體而言,是在 XR Blocks 模擬實境中檢查能否零錯誤執行。例如,簡單提示詞「創作一朵被我拿起時會吹散的美麗蒲公英」,使用 Gemini Flash 可能不到 20 秒便完成,但相比 Gemini Pro 更容易出現執行階段錯誤,因為處理動畫和手部互動在思考過程中需要更多 token。
早期我們發現,大多數初始錯誤都源自 XR Blocks 本身的程式錯誤,或模型幻覺出不存在或已棄用的 API,成功率約為 70%。這些洞見推動了為期六個月的快速迭代。如今經過11 次主要版本發布後,我們很高興分享 XR Blocks Gem v0.11.0 在 VCXR60 資料集上的初步評估,作為基準參考。
給開發者的主要結論:着手進行進階 XR 原型製作時,使用「專業模式」最可靠。
總結
Vibe Coding XR 是邁向未來的重要一步:空間運算的界限將不再是技術專業,而是創意。透過結合 LLM 的推理能力和 XR Blocks 的高階抽象,我們填補了轉瞬即逝的構思與具體、具備物理感知能力的現實之間的空隙。
我們團隊正持續開發 XR Blocks 框架、基準測試和空間智能。我們邀請人機互動(HCI)、AI 和 XR 社羣參與 Android XR 上的 XR Blocks 生態系統。你可前往開源框架,並透過快速連結試用即時示範,或到 ACM CHI 2026 參觀我們的示範。
鳴謝
這項工作由 Google 多個團隊合作完成。主要貢獻者包括 Ruofei Du、Benjamin Hersh、David Li、Xun Qian、Nels Numan、Zhongyi Zhou、Yanhe Chen、Xingyue Chen、Jiahao Ren、Robert Timothy Bettridge、Faraz Faruqi、Xiang 'Anthony' Chen、Steve Toh 和 David Kim。以下研究人員和工程師亦有參與 XR Blocks 框架:David Li 和 Ruofei Du(同為主要貢獻者)、Nels Numan、Xun Qian、Yanhe Chen 和 Zhongyi Zhou(同為次要貢獻者,按字母順序排列),以及 Evgenii Alekseev、Geonsun Lee、Alex Cooper、Brandon Jones、Min Xia、Scott Chung、Jeremy Nelson、Xiuxiu Yuan、Jolica Dias、Tim Bettridge、Benjamin Hersh、Michelle Huynh、Konrad Piascik、Ricardo Cabello 和 David Kim。我們亦感謝 Gemini Canvas 和 AI Studio 團隊的支持,包括但不限於 Tim Bettridge、Yan Li、Daniel Marques、Deven Tokuno、Levent Yilmaz、Saravana Rathinam、Samuel Petit、Mike Taylor-Cai、Ammaar Reshi 和 Robert Berry;此外,亦感謝 Mahdi Tayarani、Max Dzitsiuk、Jim Ratcliffe、Patrick Hackett、Seeyam Qiu、Coco Fatus、Alon Hetzroni、Aaron Kim、Yinghua Yang、Brian Collins、Eric Gonzalez、Keith Moon、Nicolás Peña Moreno、Yidang Zhang、Jamie Pepper、Yuhao He、Yi-Fei Li、Ziyi Liu 和 Jing Jin,就早期提案及 WebXR 實驗提供意見和討論。我們感謝 Tim Herrmann 和 Andrew Helton 細心審閲,亦感謝 Maryam Sanglaji、Max Spear、Adarsh Kowdle、Guru Somadder 和 Shahram Izadi 提供方向性意見和貢獻。
來源:Google Research · research.google