新闻

Google DeepMind发布Genie 4:能实时生成可操控的世界,首次自带环境音和角色对话

DeepMind公布新一代世界模型Genie 4,可用键盘和文字实时操控生成的场景,并原生生成音效、音乐与对话,目前以研究预览形式向受邀测试者开放。

深蓝背景中一块发光的屏幕显示着山景,两侧有声波线条,下方是一块亮起方向键的键盘

Google DeepMind公布了新一代世界模型 Genie 4。简单说,它能根据描述生成一个可以“走进去”的虚拟世界,用户用键盘移动、转动镜头,再用文字随时改变场景。官方介绍见 DeepMind博客。

这一代有什么新东西

  • 实时改写世界:可以用自然语言在运行中改天气、移动镜头、加入新的人物或物体,Gemini会根据当前画面调整指令,并在两次输入之间维持场景的连贯。
  • 第一次原生生成声音:风声、海浪、背景音乐都和画面一起生成,更关键的是 角色对话,人物能根据玩家的操作和场景里发生的事实时回应。
  • 更真实的物理和人物动作:官方特别强调空气动力、碰撞等物理效果,以及人物的自然动作。
  • 底层:模型建立在Gemini家族之上,由Gemini Omni负责让画面贴近真实世界。

什么时候能用

目前只以 研究预览 的形式开放给受邀测试者。官方表示接下来会先给Google AI Ultra订阅用户(通过Project Genie)以及Gemini API、AI Studio的早期合作伙伴,候补名单已经开放,价格还没有公布。

我的看法

Google把它的用途描述为机器人训练环境,也提到电影、游戏等创意领域。对做动画和游戏的人来说,用它快速试一个场景的氛围、镜头和声音,可能比真正拿来做成品更现实。官方也承认这仍是早期技术,在中国大陆等地区,Google的服务本来就不能直接使用,大多数人短期内大概只能先看演示视频了。

来源: deepmind.google

  • AI
  • Google DeepMind
  • Genie 4
  • 世界模型
  • 游戏
  • Gemini