HelixWorld是什么

HelixWorld 是 Noiz AI 与港科大联合开源的实时交互式音视频世界模型。给模型一张起始图片和文字描述，可通过 WASD 和方向键在 AI 生成的世界中行走、转头，画面与立体空间音效同步实时生成，且声像随视角自然变化。HelixWorld 基于 LTX-2.3 构建，采用”双向教师 + 因果蒸馏”训练，单张 H800 显卡可实现 768×512 分辨率、24 FPS 的实时生成。配套发布 HelixBench 基准，专门评估空间声学一致性。

HelixWorld的主要功能

• 实时可交互世界生成：输入起始图片和文字描述，可在 AI 生成的世界中自由探索。

• 键盘/动作操控：WASD 控制移动、方向键调整视角，画面随操作即时响应。

• 原生音视频联合生成：视频与立体声音频同步生成，非后期配音。

• 空间声学一致性：声像随镜头转动自然变化，如左侧声源转身后面向时声音方向随之改变。

• 三轨解耦提示词：分别用视频、音频、音视频联合描述控制生成内容。

• 实时流畅体验：单张 H800 显卡上达到 768×512 分辨率、24 FPS 实时生成。

HelixWorld的技术原理

• 双向教师模型预训练：先训练一个双向音视频扩散模型作为教师：连续 6-DoF 相机轨迹通过 PRoPE 注入视觉注意力，81 类离散动作经 AdaLN-Zero 调制扩散时间步，跨模态注意力把相机运动传递到音频分支，使声音自然产生立体声像变化。
• 因果蒸馏实现实时化：将教师模型蒸馏为少步因果学生模型：视频潜变量与音频 token 分块处理，块内双向注意力、块间通过 KV cache 因果连接，配合 ODE 初始化使学生能以 4 步完成去噪，满足实时推理需求。
• 在线轨迹蒸馏抑制漂移：针对自回归长程生成的误差累积问题，训练时用教师 Probability Flow ODE 的终点为目标监督学生速度场，与分布匹配损失（DMD）随机交替使用，兼顾生成多样性与长程稳定性。
• 长程流式微调：通过滑窗 KV cache 逐段展开长序列训练，保留 sink 帧锚点、历史梯度截断，配合约一分钟的长序列微调，进一步减少长时间生成中的画面漂移与声音退化。

微信关注回复“开源”，加入AI开源项目交流群

如何使用HelixWorld

• 方式一：在线体验
  • 打开官网 https://helixworld.org，选择示例图片或上传自己的图片。
  • 填写场景的文字描述。
  • 进入世界后用 WASD 移动、方向键转动视角，实时探索生成内容。
  • 运行过程中还可随时修改提示词，调整后续生成的场景。
• 方式二：本地部署
  • 环境准备：Linux 系统、Python 3.11、CUDA 12.x、NVIDIA 显卡（建议 80GB 显存）、ffmpeg 和 ffprobe。
  • 下载项目并安装依赖：git clone https://github.com/NoizAI/HelixWorld.git，创建 conda 环境后 pip install -r requirements.txt。
  • 运行 python download_models.py 下载模型权重。
  • 准备一张起始图片，通过 ./run.sh 指定图片、画面/声音/联合提示词、动作序列等参数，生成 MP4 输出到 outputs 目录。

HelixWorld的核心优势

• 首个开源实时交互式音视频世界模型：画面与空间立体声在用户操控下联合实时生成，代码和权重完全开放。
• 真正的”转头即变声”：声像严格跟随视角转动，空间一致性得分数倍于同类。
• 单卡即可实时：单张 H800 实现 24 FPS、RTF 0.77 实时生成，速度是同类的 2.5 倍以上。
• 长程生成不漂移：在线轨迹蒸馏 + 长程微调，30 秒以上连续生成画面声音依然稳定，且多样性不降反升。
• 音频质量全面领先：HelixBench 核心指标全面最优，用户盲测带音频场景下以 67.9% 偏好率碾压对手。

HelixWorld的项目地址

• 项目官网：https://helixworld.org/
• GitHub仓库：https://github.com/NoizAI/HelixWorld
• arXiv技术论文：https://arxiv.org/pdf/2609.38123

HelixWorld的应用场景

• 沉浸式游戏原型：无需建模和引擎，输入图片即可生成可行走探索的开放世界，大幅缩短游戏 Demo 开发周期。
• VR/AR 虚拟空间：第一人称视角 + 空间音频的组合天然适配头显设备，可快速生成虚拟展厅、数字孪生环境。
• 影视与广告预演：导演上传概念图即可”走进”场景试听音画效果，在实拍前低成本验证镜头语言和氛围设计。
• AI 视频通话/虚拟主播背景：根据语音和交互实时生成匹配的动态背景与音效，替代绿幕和固定素材。
• 具身智能训练与仿真：作为交互式世界模拟器，为机器人/自动驾驶提供带声光反馈的低成本训练环境，辅助学习物理交互规律。