Google DeepMind 发布 Genie 4 世界模型,新增实时音频与实时引导

内容管家 AI领域评论8字数 1166阅读3分53秒阅读模式
Google DeepMind 发布 Genie 4 世界模型,新增实时音频与实时引导

Google DeepMind 发布 Genie 4:可实时改写的世界模型,以及一场正在收拢的行业整合

Google DeepMind 于本周二以研究预览(research preview)形式推出最新一代世界模型 Genie 4。据 TechCrunch 报道,Genie 4 生成了迄今最具照片级真实感、也最具交互性的世界:用户可以在模拟进行到一半时直接输入提示词,改变场景内容;模型同时生成与画面匹配的实时音频,包括音乐、环境声以及可互动的对话。

Genie 4 的发布时间,距离 AI 视频公司 Runway 发布第二代世界模型 GWM Worlds 2 只有几个月。GWM Worlds 2 是一款可玩模型,能对用户输入做出动态响应,并集成了音频生成能力。

同一时期,世界模型行业也开始出现整合迹象:李飞飞创办的 World Labs 正被 AMD 收购,亚马逊正在洽谈收购 AI 初创公司 Decart,Rivian 则刚刚收购了 Third Dimension,把仿真能力收进内部,用于自动驾驶测试。

在这条拥挤的赛道上,Genie 4 是 Google 保持领先位置的最新一步。

核心变化:从「看」到「实时改写」

相比一年多前同样以研究预览形式发布的 Genie 3,Genie 4 的升级集中在三点:

  • 自由编辑:可在模拟运行中实时修改天气、摄像机角度,或加入新的人物与物体。
  • 状态维持更久:一致场景最长可维持两分钟,是上一代的两倍;同时物理表现更好,角色行为也更接近真人。
  • Gemini 深度协同:Gemini 充当「导演」,负责规划步骤并检查帧,Genie 负责生成视觉内容。

在一次与 Gemini Robotics 关联的研究实验中,一款 Gemini 4 Argon 模型把任务拆解成若干步骤,再由 Genie 4 实时模拟出来。这提示了一条可能的路径:先在仿真环境里测试机器人场景,再进入真实世界。

Google 研究总监 Tejas Kulkarni 在简报会上表示:「未来我们会越来越多地看到这类混合型世界模型——Gemini 负责编写代码和文本,Genie 实时摄取这些内容,并在不同抽象层级上模拟现实。」

应用方向:游戏、教学、机器人之外,还有影视原型

与其他世界模型一样,Genie 4 面向的商业场景包括游戏、交互式学习与机器人。交互式学习的一个设想场景是:进入一幅历史场景画作,与画中人物直接对话,讨论画面所描绘的事件。

但「可信测试者」(trusted testers,即最早拿到 Google 前沿产品访问权的一批用户)反馈了一个新用法:做影视原型。

Google DeepMind 工程师 Diego Rivas 在新闻发布会上说:「实时性最有价值的领域,是那些需要维持创作心流(flow)状态的地方——比如构思阶段、分镜阶段,任何需要快速想点子的时刻。」 Rivas 还提到,Google 的 AI 视频生成模型 Veo 已经能依据文本、图片或视频提示生成带同步音频的高清片段,在电影创作者中越来越受欢迎。后续用户还可以借助 Gemini Omni(一种可从图片、音频和文本生成视频的多模态大模型)把这些原型转成创作资产——不过他强调,这些能力距离可用还有一段路。

影响与建议

需要明确的边界也很清楚。Rivas 在整场简报中反复强调 Genie 4 仍处早期阶段,端到端的产品形态尚不确定;团队也承认模型仍有明显短板:模拟运行时间越长,细节和物体越容易漂移;音频准确性以及世界内文字的可读性也尚未解决。

具体可用性上:

  • 当前:Genie 4 以研究预览形式向可信测试者开放。
  • 未来数周:将逐步推送给 Google AI Ultra 订阅者(通过 Project Genie——一款依据文本或图片提示生成交互世界的 AI 工具),以及 Gemini API 与 Google AI Studio 的早期接入伙伴。

对开发者与内容团队来说,现阶段更务实的定位是「原型工具」而非「生产工具」:先用在分镜、场景预演这类需要快速迭代和即时反馈的环节,同时为长时模拟下的物体漂移和音频失真预留人工复核空间。

延伸阅读

 
内容管家

发表评论