Hy-Nomas是什么

Hy-Nomas 是腾讯混元团队开源的交互式视频世界生成模型，采用分段自回归方式生成视频，支持在每段间自由切换文本提示或相机轨迹控制，并通过 lifelong KV cache 保持长程一致性。Hy-Nomas已开源代码与权重，提供蒸馏版和 INT8 量化版，经优化后单张 RTX 4090 可本地推理。

Hy-Nomas的主要功能

• 自由形式文本控制：支持任意形式的文本提示，控制生成世界中的物体、风格、场景与动作。

• 相机轨迹控制：可基于相机运动轨迹条件化生成，与文本提示自由组合切换。

• 多轮交互生成：Web 交互界面支持在段边界处注入新指令，实现多轮连续生成。

• 提示词增强（Nomas-PE）：内置在线模型将用户口语化指令自动转化为结构化生成提示。

• 消费级本地部署：INT8 量化 + CPU offload 优化，单张 RTX 4090 即可完成推理。

• LoRA 微调：支持用自定义视频数据进行微调，并可合并进蒸馏模型用于推理。

Hy-Nomas的技术原理

• 分段自回归架构：将长视频按段生成，每段条件于当前提示或相机信号，并维护一个贯穿所有段的 lifelong KV cache，使场景、物体和风格在时间上保持一致，实现长程世界生成。
• 蒸馏加速推理：通过蒸馏训练将去噪步数压缩至 4/6/8 步，配合专门微调的 PixelUMM 解码器处理 32 通道 DCAE-V 隐变量，在保证质量的同时大幅降低推理延迟。
• 低显存推理机制：DiT 权重与 KV cache 采用 INT8 存储、计算保持 BF16；历史上下文用滑动窗口截断非无限增长；文本编码器、DiT、VAE 按阶段在 CPU/GPU 间切换，将峰值显存压到消费级显卡可承受的范围。
• LoRA 分段强制训练：微调以非蒸馏 checkpoint 为底模，采用 segment forcing 训练管线，只训练 LoRA 参数（rank/alpha 256）；训练完成后将 LoRA 权重合并回蒸馏 checkpoint，得到既保留蒸馏加速又具备定制能力的推理模型。

微信关注回复“开源”，加入AI开源项目交流群

Hy-Nomas的核心优势

• 双模态自由切换：每段生成可在文本提示与相机轨迹控制间自由切换，交互方式灵活。

• 长程一致性：lifelong KV cache 保证物体、场景与风格跨段延续，避免长视频漂移。

• 消费级可跑：INT8 量化 + 滑动窗口 + CPU offload，单张 RTX 4090 可本地推理。

• 推理极快：蒸馏后仅需 4~8 步去噪，显著降低生成延迟。

• 完全开源：代码、权重、训练与数据标注流程全公开，Apache 2.0 协议可商用。

Hy-Nomas的项目地址

• 项目官网：https://hy-nomas.hy.tencent.com/
• GitHub仓库：https://github.com/Tencent-Hunyuan/Hy-Nomas
• HuggingFace模型库：https://huggingface.co/tencent/Hy-Nomas

Hy-Nomas的同类竞品对比

Hy-Nomas的应用场景

• AI 游戏原型开发：通过文本与相机指令快速生成交互式游戏世界，低成本验证玩法概念。

• 机器人仿真训练：借助官方 Robotics LoRA 生成真实感机械臂操作环境，为具身智能提供合成训练数据。

• 影视预演与分镜：用电影感 LoRA 生成连贯长镜头，辅助导演做运镜设计和视觉预览。

• 虚拟文旅与空间展示：用相机轨迹控制生成可漫游的景区、展厅、房产场景，替代传统 3D 建模。

• AI 研究与教育：完整的训练、微调、数据标注代码开源，可作为世界模型方向的教学与科研基座。