Google DeepMind发布Genie 4世界模型:原生生成音频,研究预览面向受信任测试者
DeepMind称Genie 4可实时生成画面、环境音与人声对话,并能用自然语言中途改变天气、调整机位或加入人物;该模型尚未公开发布,先在Project Genie、Gemini API和AI Studio向受信任测试者开放。
AI解读:DeepMind于 2026 年 10 月 27 日宣布Genie 4,定位为实时交互式世界模型,原生多模态是本次最主要的增量:画面、环境声与交互对话可同时生成。
DeepMind称Genie 4借助Gemini家族模型:由Gemini Omni让模拟贴近真实外观与行为,其他Gemini模型负责维持场景连贯性;实时循环中,Gemini 3.8 Flash充当引导代理,观察画面、拆解目标并逐步核验。
发布方式是研究预览,目前仅面向受信任测试者;DeepMind表示接下来先向Google AI Ultra订阅者(Project Genie)以及Gemini API、Google AI Studio的早期访问伙伴开放。
DeepMind自述这是早期实验模型:长时段运行时,视觉细节和物体恒存性可能漂移,复杂物理交互、实时音频准确性、可读文字渲染、空间准确性和长期一致性仍是研究中的问题。
所有生成的视频和音频都嵌入SynthID水印。DeepMind称上市前做了内部安全评估,并有意先向受信任测试伙伴开放以收集反馈。
来源中的测试者反馈(影视预可视化、以单张档案照片生成场景、游戏原型设计等)来自DeepMind组织的测试群体,属公司转述,未附量化评测数据。
Google DeepMind于 2026 年 10 月 27 日发布Genie 4世界模型,称其可在实时交互模拟中同时生成画面、环境音和人物对话,并能用自然语言在运行中改变天气、移动镜头或加入新人物和物体。
DeepMind表示Genie 4已作为研究预览向受信任测试者开放,之后再向消费者和开发者推出,首批包括Project Genie中的Google AI Ultra订阅者,以及Gemini API和Google AI Studio的早期访问伙伴。
Genie 4新增了什么
DeepMind称Genie 4是该公司首个原生生成音频的实时世界模型:每个场景自带环境声,从林间风声到海浪声。人物语音也被纳入,角色可对用户输入或场景事件实时作出对话反应。
画面方面,DeepMind称Genie 4提升了照片级真实感与人物动作的自然度,并称模型基于对空气动力学、碰撞等物理场景的理解。用户可用标准键盘控制导航和摄像机,用文本提示引导场景演化。
- 原生音频:环境音与交互对话随世界同步生成
- 实时语言编辑:可在模拟运行中改天气、改机位、加人物
- 人物模拟:角色可自然移动、对环境作出反应并被实时操控
与Gemini的分工
DeepMind把Genie 4与Gemini模型绑定描述:Gemini Omni负责让模拟贴近真实世界的外观与行为,其他Gemini模型提供推理能力以维持模拟的连贯与连续。
在实时循环里,Gemini 3.8 Flash充当引导代理:Genie 4生成世界的同时,Gemini持续观察场景、把目标拆成步骤序列、检查流入的画面帧以核验每一步是否完成,并在世界或用户干预变化时调整计划。DeepMind称这带来了可靠的因果性、程序化行为和多步推理。
DeepMind还称正在试验Gemini 4 Argon与Genie 4结合、连同Gemini Robotics用于机器人研究。其博客示例是二者协作模拟Apptronik的Apollo人形机器人下跳棋:Argon把用户指令拆成步骤,以文字说明形式插入给Genie 4的输入,随渲染推进调整模拟。
- Gemini Omni:锚定模拟的真实外观与行为
- Gemini 3.8 Flash:实时观察、拆解目标、逐帧核验进度
- Gemini 4 Argon:实验中,把任务拆成步骤驱动Genie 4渲染
测试者范围与已知限制
DeepMind称在创意产业、新闻、教育、游戏和工程等领域组织受信任测试者试用,并转述了测试者的使用方向:影视创作者把Genie 4当作预可视化的快速草稿模式,实时跑多个“镜头”并调整机位、灯光、对话和动作;摄影记者尝试把单张 2D档案照片在数秒内变成可进入的场景模拟;游戏开发者用自然语言提示从想法直接做出可探索原型。这些均为DeepMind对测试者反馈的转述,未附效果数据。
DeepMind同时列出当前局限:Genie 4能维持短时段内的连贯环境,但运行更久、经过多次复杂提示编辑或在场景中穿行后,视觉细节和物体恒存性可能发生漂移;复杂物理交互、实时音频准确性、可读文字渲染、空间准确性和长期一致性都是仍在研究的问题。
- 当前可用范围:仅受信任测试者,随后是AI Ultra订阅者与API、AI Studio早期访问伙伴
- 公开限制:长时段漂移、物理与空间准确性、文字渲染、音频准确性
- 所有生成视频和音频嵌入SynthID水印,DeepMind称预览前做了内部安全评估