能以影像、動作與聲音回應的虛擬世界
Google DeepMind 發表實驗性人工智慧模型 Genie 4，可生成具備音效、語音對話與變化中物理環境的互動虛擬世界。這項消息於美國時間 10 月 27 日公布，模型初期僅開放給一小群信任測試者，未來預計透過 Project Genie、Gemini API 和 Google AI Studio 提供使用。
目錄
Google 表示，Genie 4 能讓場景維持一致性長達兩分鐘，是前代 Genie 3 約一分鐘的兩倍。在此期間，使用者可以在環境中移動、改變天氣、加入人物或物件，也能聽見角色根據當下情況做出回應。
Alphabet 與 Google 執行長 Sundar Pichai 在宣布研究預覽版時如此形容這款模型：
我們目前最逼真、互動性最高的世界模型
最大的新功能是原生音訊，也就是聲音在模擬體驗生成時同步產生，而非事後添加。環境變化時，可以伴隨風聲、海浪聲、背景音樂與對話。Google 也表示，模型在人物動作，以及碰撞、空氣動力學等物理效應的模擬方面都有所進步。空氣動力學指的是空氣對移動物體的影響。
Google 將這項技術定位於電影企劃、遊戲開發、教育，以及在機器人或 AI 代理於真實環境中運作前進行訓練。不過，眼前的限制同樣明確：場景只能維持短時間，物件可能意外變化，場景中的文字可能難以辨讀，音訊準確度也仍待改善。
互動世界與生成影片有何不同
Genie 會根據文字描述或圖片生成可供使用者探索的環境。一般生成影片則依照既定順序播放，供觀眾觀看；世界模型會根據使用者的操作，持續生成接下來發生的內容。
使用者可以透過鍵盤操控移動並調整攝影機位置。也可以在系統運作時輸入文字指令改變環境，例如調整天氣、加入角色或移動視角。系統接著必須生成新的影像，呈現這些變化。
Google 將此描述為逐格生成體驗。模型不必預先準備好所有可能的互動，而是預測有人在場景中採取行動後，場景應如何延續。
因此，維持連貫性是核心挑戰。實用的模擬必須記住物件的位置、人物的動作，以及已經發生的事。如果使用者轉身後場景布局就改變，即使場景一時看起來很逼真，也會降低實用性。
音訊讓角色成為互動的一部分
Genie 4 在這個不斷變化的視覺世界中加入環境音、音樂與語音。Google 表示，音訊可以配合生成的地點，例如風吹過樹林，或海浪拍打岸邊。
角色也能根據使用者輸入和模擬中的事件開口說話。對話預期會隨情境變化，而不是播放固定的音軌。使用者除了能在提示中指定視覺元素，也可以指定音訊元素。
Google 表示，人物在其他方面也有所改進，動作更自然，也更能回應周遭環境。模擬持續進行時，使用者可以指示人物採取行動，讓角色行為與場景編輯納入同一套互動流程。
團隊也坦承，音訊準確度仍是開發中的問題。對於規劃場景或互動式練習的人來說，實際需求是場景變化時，語音和環境音都能恰如其分。
Gemini 負責規劃，Genie 負責生成
Google 讓旗下 Gemini 系列 AI 模型更深入地參與 Genie 4。兩者分工不同：Genie 生成模擬世界，Gemini 則協助引導事件發展，並檢查結果是否符合預定計畫。
Gemini Omni 負責支援環境的外觀與行為。Gemini 3.8 Flash 監看輸入畫格，將目標拆解成較小步驟，確認行動是否成功，並在場景變化或使用者介入時調整計畫。
簡單來說，系統的一部分負責生成下一個畫面，另一部分則追蹤目標進度。這種安排旨在讓事件依照合理順序發展，特別適合需要多個步驟、而非只需立即回應的任務。
Google 研究總監 Tejas Kulkarni 在一場簡報中談及公司的長期構想：
未來我們將愈來愈常看到這類混合式世界模型，結合 Gemini 撰寫程式碼與文字，以及 Genie 即時接收這些內容，並以不同抽象層次模擬現實。
這項構想是讓語言、程式碼與視覺模擬協同運作。Genie 4 已以有限形式採用這種分工，由 Gemini 協助引導使用者探索時同步生成的世界。
Google 為何希望機器人在其中練習
Google DeepMind 正在測試 Genie 4 能否為機器人和 AI 代理提供訓練環境。代理是會透過選擇行動、檢查結果並決定下一步來追求目標的軟體。
在一項與 Gemini Robotics 相關的實驗中，Gemini 4 Argon 將任務拆解成多個步驟，再由 Genie 4 即時模擬。目標是在機器人實際執行複雜工作前，先探索可能的操作方式。
Google 表示，虛擬環境可以重現難以在現實中遇到或安排的情境。開發者可以改變條件並觀察代理如何反應，不必為每種變化重新搭建實體測試場地。
碰撞與空氣動力學方面的改進，對這類用途尤其重要。訓練需要讓行動與結果之間具有實用關聯，例如物體受到接觸後如何移動，或環境如何回應動作。Google 承認，複雜的物理互動對模型來說仍是一大挑戰。
電影企劃是更直接的應用場景
信任測試者指出，電影原型製作與快速分鏡可能是應用方向。分鏡是在拍攝前規劃鏡頭順序的方式。創意團隊可利用 Genie 4 探索攝影機位置、角色動作與氛圍變化，趁構想仍在發展時調整內容。
Google DeepMind 工程師 Diego Rivas 在一場媒體簡報中，說明即時回應在這個階段的用處：
即時互動最有價值的地方，是能在創作過程中維持心流的情境。
Rivas 以發想和分鏡為例。實際優勢在於速度：創作者可以修改場景並探索結果，不必停下來為每種變化另外準備一段內容。
Google 也提供 Veo，可根據提示生成帶有同步音訊的影片片段。Rivas 提到一種未來可能性：Gemini Omni 或許能協助將原型轉化為創意素材，但他也表示，相關功能距離實現還有一段時間。
遊戲與互動式教育也是提議中的用途。這些用途的共同點，是場景會回應參與者，而不是每次都以相同方式播放的完成品。
兩分鐘的一致性仍是嚴格限制
Genie 4 據稱能維持兩分鐘的場景一致性，是 Genie 3 約一分鐘限制的兩倍。這讓使用者有更多時間探索構想，但連續活動的時長仍受到限制。
Google 表示，模擬進行時，物件和視覺細節可能逐漸偏移。物件的外觀或位置可能改變，系統也可能忘記場景最初的樣貌。因此，即使有 Gemini 協助維持連貫性，長時間的互動仍然困難。
在世界中生成的文字也可能難以辨讀。場景若包含標誌、說明或其他需要閱讀的文字，就會遇到實際問題。
Google 將 Genie 4 定位為早期實驗性模型，目前正與不同領域的測試者合作。Rivas 表示，最終完整產品的使用體驗仍在規劃中。現階段的實用體驗以短時間實驗為主，視覺連貫性、物理行為和音訊都還需要進一步改進。
誰能使用？費用是多少？
Genie 4 研究預覽版已開始提供給信任測試者。Google 計畫透過 Project Genie，向 Google AI Ultra 訂閱者擴大開放一般使用者；開發者則可透過 Gemini API 和 Google AI Studio 的早期合作計畫取得使用權。
Google 表示，擴大開放即將到來，預計在未來幾週內推出，但尚未公布確切日期。Project Genie 正接受候補名單登記。API 可讓開發者將模型連接至自己的軟體，AI Studio 則提供試用 Google 模型的平台。
Google AI Ultra 方案據稱每月 100 美元起。Genie 4 尚未公布獨立的開發者定價。透過 AI Pro 和 AI Plus 提供使用權，則仍是未來可能擴大的方向，並非已確認的推出安排。
Google 表示，生成的影片和音訊將附上 SynthID，這是用來辨識 AI 生成內容的數位浮水印。隨著這類模擬體驗開放給更多使用者，這項標記旨在協助辨識由系統生成的內容。
從 Genie 3 到更廣泛的模擬技術競賽
Genie 4 延續了一系列讓 Google 世界模型走出研究展示、提供更多人使用的發展：
- 2025 年 8 月：Google DeepMind 發表 Genie 3。
- 2026 年 1 月：Google 開始使用該模型測試 Project Genie。
- 2026 年 5 月：Google 宣布整合 Street View。
- 美國時間 10 月 27 日：Google 發表 Genie 4，並推出初期研究預覽版。
競爭也不再只限於沒有聲音的互動場景。Runway 在 Genie 4 發表前幾個月推出 GWM Worlds 2，可回應使用者操作並生成音訊。
業界其他動態也顯示，市場對 AI 開發和實體系統模擬的興趣正在增加。Rivian 收購 Third Dimension，將模擬技術納入車輛測試工作。據報 AMD 收購 World Labs，Amazon 也與 Decart 洽談收購事宜，顯示世界模型技術已成為更廣泛交易熱潮的一部分；不過，Amazon 方面目前仍在洽談中。
Google 最新的成果在單一實驗系統中結合場景生成、對話和 Gemini 規劃。接下來的具體步驟是擴大開放，讓更多創作者和開發者找出模型能可靠處理哪些短時任務。
重點摘要
- Google DeepMind 於美國時間 10 月 27 日宣布 Genie 4，初期開放給信任測試者。
- 模型能生成包含環境音、音樂和即時回應語音對話的互動世界。
- Google 表示，場景一致性可維持長達兩分鐘，是 Genie 3 約一分鐘限制的兩倍。
- Gemini 模型協助規劃行動、監看生成場景並調整模擬。
- 規劃中的用途包括電影分鏡、遊戲、教育和機器人訓練。
- 物件可能逐漸偏移，文字可能難以辨讀，複雜物理效果與音訊準確度仍是開發挑戰。
- Google 計畫透過 Project Genie、Gemini API 和 Google AI Studio 開放使用，但尚未公布確切擴大開放日期或開發者定價。
