Open Oasis 交互式世界模型

Open Oasis 是什么

Open Oasis 是由 Decart 与 Etched 联合开发的交互式世界模型。它基于扩散 Transformer（Diffusion Transformer），接收用户键盘输入，以自回归方式生成游戏画面。

本次开源的是 Oasis 500M——完整模型的缩小版本，包含模型权重与动作条件帧生成的推理代码。

想体验最强版本，可访问官方 在线 Demo。

核心特性

• 扩散 Transformer 架构：结合扩散模型与 Transformer 的生成能力
• 动作条件生成：根据键盘输入预测下一帧画面
• 自回归推理：逐帧生成，形成连续游戏视频
• 自定义提示：可传入 PNG/JPG 图片作为起始帧

环境准备

项目使用 Python，主要依赖 PyTorch、einops、diffusers、timm 与 av。

git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install einops diffusers timm av

下载模型权重

权重托管在 Hugging Face 上，需先登录再下载：

huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.safetensors
huggingface-cli download Etched/oasis-500m vit-l-20.safetensors

其中 oasis500m.safetensors 是 DiT 检查点，vit-l-20.safetensors 是 ViT VAE 检查点。

基本用法

仓库提供了基础推理脚本，从视频中加载提示帧，并根据动作生成后续帧：

python generate.py

也可以指定检查点路径或自定义图片提示：

python generate.py --oasis-ckpt <path to oasis500m.safetensors> --vae-ckpt <path to vit-l-20.safetensors>
python generate.py --prompt-path <path to .png/.jpg/.jpeg>

生成的视频默认保存为 video.mp4。

适用人群

• 对世界模型与扩散 Transformer感兴趣的研究者
• 想复现动作条件视频生成实验的开发者
• 探索 AI 生成游戏画面的爱好者

注意事项

• 500M 版本生成质量与完整版存在差距，适合研究而非生产
• 需要 NVIDIA GPU 与 CUDA 环境，显存占用较高
• 项目仅提供推理代码，不包含训练流程
• 文档以英文为主，中文社区资料有限