新闻发布于:
Google DeepMind发布Genie 4:能实时生成可操控的世界,首次自带环境音和角色对话
DeepMind公布新一代世界模型Genie 4,可用键盘和文字实时操控生成的场景,并原生生成音效、音乐与对话,目前以研究预览形式向受邀测试者开放。

Google DeepMind公布了新一代世界模型 Genie 4。简单说,它能根据描述生成一个可以“走进去”的虚拟世界,用户用键盘移动、转动镜头,再用文字随时改变场景。官方介绍见 DeepMind博客。
这一代有什么新东西
- 实时改写世界:可以用自然语言在运行中改天气、移动镜头、加入新的人物或物体,Gemini会根据当前画面调整指令,并在两次输入之间维持场景的连贯。
- 第一次原生生成声音:风声、海浪、背景音乐都和画面一起生成,更关键的是 角色对话,人物能根据玩家的操作和场景里发生的事实时回应。
- 更真实的物理和人物动作:官方特别强调空气动力、碰撞等物理效果,以及人物的自然动作。
- 底层:模型建立在Gemini家族之上,由Gemini Omni负责让画面贴近真实世界。
什么时候能用
目前只以 研究预览 的形式开放给受邀测试者。官方表示接下来会先给Google AI Ultra订阅用户(通过Project Genie)以及Gemini API、AI Studio的早期合作伙伴,候补名单已经开放,价格还没有公布。
我的看法
Google把它的用途描述为机器人训练环境,也提到电影、游戏等创意领域。对做动画和游戏的人来说,用它快速试一个场景的氛围、镜头和声音,可能比真正拿来做成品更现实。官方也承认这仍是早期技术,在中国大陆等地区,Google的服务本来就不能直接使用,大多数人短期内大概只能先看演示视频了。
来源: deepmind.google