新闻

腾讯混元开源交互式世界模型Hy-Nomas:边生成边改剧情、控镜头,单张RTX 4090也能跑

腾讯混元以Apache 2.0开源Hy-Nomas,一段一段生成720p、24帧的视频世界,可随时用文字改内容、用镜头轨迹控制视角,并附带机器人与电影感LoRA。

深蓝背景上四个相连的画面框依次排列,下方是延伸的透视网格地面,右上角有一台黄色摄像机

最近“世界模型”很热闹,腾讯混元也拿出了自己的开源方案:Hy-Nomas。代码和权重都以 Apache 2.0 协议公开,说明见 Hugging Face模型页。

它能做什么

Hy-Nomas不是一次生成一整段视频,而是 一段一段地往下生成一个世界。每生成完一段,你都可以插话:

  • 用文字加入新角色或物体、改变画风和场景、描述接下来的动作;
  • 给出镜头轨迹,控制视角往哪里走、往哪里转;
  • 前面生成过的内容会保存在缓存里,后续段落接着用,让世界前后保持一致。

技术要点

  • 输出规格:720×1280,24帧每秒,蒸馏版每段只需8步去噪。
  • 结构:分段自回归的扩散Transformer,共54个双流模块,文字理解部分借用Qwen2.5-VL-7B的语言模型。
  • 硬件门槛:标准配置需要8张GPU;另有低显存方案,用INT8权重、FP8解码器加CPU卸载,单张RTX 4090 就能跑,代价是速度变慢、内存占用增加。
  • 附加内容:提供电影感画面LoRA,以及用真实双臂机械臂数据训练的机器人LoRA;同时开放了含280个测试用例的评测集Hy-Nomas-Bench。

我的看法

对喜欢动画和游戏的人来说,这类模型最有意思的地方是“可以边走边改”:像在跑团,你说一句“下雨了”,世界就跟着变。离真正能玩的游戏还很远,但单卡4090可以跑这一点,意味着个人创作者也能上手试试。

需要提醒的是,官方页面没有给出单卡模式的具体速度,实际体验恐怕要等社区的测试结果。

来源: huggingface.co

  • 腾讯混元
  • Hy-Nomas
  • 世界模型
  • 开源模型
  • 视频生成
  • AI