HelixWorld 音视世界模型
Noiz AI 开源的实时交互式音视频世界模型：输入一张图和提示词，即可在浏览器中自由行走、转动视角，画面与空间立体声同步演化，音频并非后期配音，而是与视觉几何共同生成。
爱鲜报评分
0 人评分
465
星数
是
中文
Python
主语言
是
活跃
1
贡献者
人工分析
EDITORIAL推荐理由
HelixWorld 把「世界模型」从纯视觉推进到视听一体：相机 6-DoF 位姿直接注入视频分支，跨模态注意力让声场随视角转动，鼓点、脚步等瞬态与画面动作严格对齐。单张 H800 上 768×512、24 FPS 稳态 RTF 0.77，含音视频解码，属于可交互而非离线渲染的实时方案。附带 HelixBench 基准与盲测用户研究，工程与评测链路完整，适合做空间音频、交互式内容生成方向的开发者跟进。
适用场景
- 交互式虚拟场景漫游与第一人称探索
- 空间音频/立体声场生成与相机联动研究
- 游戏与影视前期概念预演、动态分镜
- 具身智能与机器人仿真的视听环境构建
- 多模态生成模型（视频+音频联合建模）研究与基准评测
优点
- 视听原生同步，音频随相机运动产生真实立体声平移，而非后期配音
- 单卡 H800 即可实时推理，768×512@24FPS 稳态 RTF 0.77（含解码）
- 提供 HelixBench 基准与盲测用户研究，效果可量化对比
- Apache 2.0 开源推理代码，权重与论文、Demo 齐备
- 支持 W/A/S/D 与视角键组合的细粒度交互控制
缺点
- 显存门槛高，BF16 单卡约需 70GB，官方建议 80GB 显卡
- 仅支持 Linux + Python 3.11 + CUDA 12.x，环境依赖较窄
- 当前为 Preview v1，权重许可与代码许可分开，商用需确认
- 依赖外部 text encoder（gemma-3-12b）与模型下载，首次部署成本高
HelixWorld 是什么
HelixWorld 是 Noiz AI 推出的实时交互式音视频世界模型。给它一张首帧图片和一段提示词，你就可以在生成的世界里前进、转身——画面与声音会一起变化，声场随相机转动，音频不是事后贴上去的配乐。
官方 Demo：https://helixworld.org/
核心特性
1. 视听同步生成
视觉场景与「以相机为基准的空间立体声」在用户交互下原生共同演化。以打鼓场景为例：画面出现停顿的瞬间，HelixWorld 的瞬态声音随之收敛、动作恢复时声音同步回归；而事后配音的基线 AudioX 会在停顿期间凭空产生瞬态。
2. 相机对齐的空间音频
连续的 6-DoF 相机位姿通过 PRoPE（Projective Relative Positional Encoding） 注入视频分支，跨模态注意力把视觉几何与声学特征绑定，相机的自运动自然转化为真实的立体声平移。在 HelixBench 上，其空间声学一致性优于 EchoWM 与级联式视频转音频（V2A）配音方案。
3. 单卡实时推理
在单张 NVIDIA H800 上，768×512 分辨率、24 FPS 下稳态实时因子（RTF）为 0.77，且已包含视频与音频解码。在 WBench 导航划分上，其视觉质量与控制响应也优于多数开源无声基线。
4. 用户研究
在带音频的盲测成对比较中，HelixWorld 在所有对比中均以明显优势胜出。
快速上手（Preview v1）
环境要求：
- Linux，Python 3.11，CUDA 12.x
- NVIDIA GPU，建议 80GB 显存（BF16 单卡实测约 70GB）
- 系统需安装
ffmpeg与ffprobe
git clone https://github.com/NoizAI/HelixWorld.git
cd HelixWorld
conda create -n helixworld-preview python=3.11 -y
conda activate helixworld-preview
python -m pip install -r requirements.txt
python download_models.py
模型目录结构大致为：
models/
├── text_encoder/gemma-3-12b/
└── weights/
└── model.safetensors
运行推理：
CUDA_VISIBLE_DEVICES=0 ./run.sh \
--image /path/to/first_frame.png \
--prompt-file examples/prompt.json \
--actions "W:5,right:5,stop:5" \
--perspective first_person \
--num-frames 121 \
--output-dir outputs/demo
输出为干净的 MP4，位于 <output-dir>/release/native/。
动作控制说明
- 移动键：
WASD - 视角键：
leftrightupdown - 停止：
stop - 组合用
+，例如W+D:8 - 冒号后的数字表示 latent 转移步数，121 帧对应 15 步；最后一段可省略时长
提示词可编辑 examples/prompt.json，也可通过 --video-prompt、--audio-prompt、--av-prompt 传入。
生态与资源
- 论文：arXiv 2609.38123
- 权重：Hugging Face
NoizAI/HelixWorld-preview - 基准：Hugging Face 数据集
NoizAI/Helixbench - 社区：提供微信与 Discord 用户群
许可
代码采用 Apache 2.0；权重许可随 Preview v1 checkpoint 一并发布，商用前请仔细确认。
评论
- 暂无评论，来写第一条吧。