产品The Decoder AI·原文 2026年10月28日

Google DeepMind发布Genie 4:实时生成带声音和对话的交互世界

DeepMind称Genie 4是公司首个直接生成声音的实时世界模型,靠Gemini模型在后台规划场景走向;目前仅限部分测试者使用,长时段模拟仍会出现画面细节漂移和物体不持久。

AI解读:DeepMind发布的Genie 4按帧计算场景并响应用户输入,用户可用键盘移动、用文字提示改变事件,而不是像视频模型那样输出成片。

DeepMind称这是其首个直接生成声音的实时世界模型,每个世界有各自的环境音,角色之间可以对话并实时回应用户输入或场景事件。

Gemini模型承担后台规划:据DeepMind描述,Gemini 3.8 Flash持续观察画面、把目标拆成步骤并用新帧校验,场景变化或用户介入时调整计划。

DeepMind把Genie 4定位为早期实验模型,并称短时段内世界能保持连贯,但长时间模拟或多次复杂提示改动后视觉细节会变化、物体不总能保留。

目前只有部分测试者可用;DeepMind表示将很快向Google AI Ultra订阅者开放Project Genie网页应用,并向获得Gemini API和Google AI Studio早期访问权限的合作伙伴开放。

Google称所有视频和音轨都会带有SynthID水印。

Google DeepMind发布了Genie 4,这是其在 2025 年 8 月展示的Genie 3的后继世界模型。与输出成片的视频模型不同,Genie 4逐帧计算场景,并在生成过程中对输入作出反应:用户用键盘在场景中移动,用文字提示推动事件。

DeepMind称Genie 4是公司首个直接生成声音的实时世界模型。按该公司的说法,每个世界带有自己的背景音,例如林间的风声;模型也处理对话,角色之间可以交谈,并实时回应用户输入或场景中发生的事件。DeepMind把真实感提升的最大部分归于人物的渲染方式:角色被设定为自然移动、对周围环境作出反应,用户可以对其进行直接控制。

Gemini在后台规划场景

据DeepMind介绍,Genie 4建立在视频模型Gemini Omni的能力之上,使世界在外观和行为上更接近真实;其他Gemini模型参与规划模拟过程以保持连贯。例如用户用文字提示改变天气时,Gemini负责把这条指令适配到正在运行的场景中。DeepMind还称,Gemini会在两次输入之间引导事件,使世界以合理的方式继续发展。

DeepMind用多步任务说明这一过程:Gemini 3.8 Flash持续观察场景,把一个目标拆成若干步骤,再用新生成的帧检查每一步是否达成;当世界发生变化或用户介入时,模型调整原有计划。DeepMind同时在测试Gemini 4 Argon,尝试把Genie的工作与其机器人研究Gemini Robotics连接起来。在一个演示中,Argon把下跳棋的任务拆成步骤,Genie 4接收这些文字指令后模拟Apptronik的人形机器人Apollo下棋,整个过程不涉及真实机器人。

仍属早期实验,长时段模拟会失真

DeepMind把Genie 4称为早期的实验性模型。按该公司的说法,世界在短时段内能保持连贯,但在更长的模拟中或经过多次复杂的提示改动后,视觉细节会发生变化,物体也不总能持续存在。DeepMind表示仍在研究复杂的物理交互、准确的实时声音和可读的文字。

目前Genie 4仅以研究预览形式向部分测试者开放。DeepMind称其将很快通过Project Genie网页应用向Google AI Ultra订阅者开放,同时开放给获得Gemini API和Google AI Studio早期访问权限的合作伙伴。Google表示所有视频和音轨都会带有SynthID水印,以不可见方式标记AI生成内容。

信息来源

The Decoder AI原始来源

更多

新闻专题
外观