YuE2 音乐生成大模型

YuE2 是什么

YuE2 是一个开源的音乐生成基础模型，目标是把「符号规划」与「音频生成」统一在同一套框架里。你只需要给出歌词和风格提示，它会先写出一份旋律与和弦的乐谱计划，再把这份计划渲染成包含人声与伴奏的完整歌曲。

官方口号很直白：Compose in symbols. Create in sound.（用符号作曲，用声音创作。）

想找初代 YuE？它的代码、文档与许可证保留在 YuE-v1 分支中。

核心能力

1. 前沿级生成质量

在 WildSongBench 基准上，YuE2 与 Suno v5/v6 处于同一竞争区间；其 best-of-8 设置在评测中取得了最高的平均分。

2. 白盒式符号规划

这是 YuE2 最有辨识度的设计：旋律与和弦以显式形式存在，人和智能体都可以查看、播放、修改，然后再渲染成音频。相比纯端到端黑盒模型，可控性大幅提升。

3. 零样本翻唱与智能体编辑

• 翻唱：把一段转录出的歌曲重新演绎成全新风格；
• 编辑：通过对话讨论乐谱、编曲与歌词，逐步迭代出新的版本。

三类任务（创作 / 翻唱 / 编辑）共用同一个生成权重，差别只在于「乐谱从哪来」：模型自己写、从录音转录，还是人工编辑后的版本。

工作原理简述

整体是一个 AR–NAR Mixture-of-Transformers 骨干网络：

1. 自回归预测乐谱与语义音乐 token；
2. 用 flow matching 生成声学 latent；
3. 由 VAE 将 latent 解码为立体声音频。

分阶段的 Python API 依次暴露：

plan() -> generate_semantic() -> synthesize() -> decode()

这种拆分让「精确复用已有乐谱」和「替换解码器」都变得可行。

快速开始

环境要求大致为：Linux · Python 3.12 · 支持 BF16 的 NVIDIA GPU · 24 GB 显存。模型文件首次使用时从 Hugging Face 自动下载，输出为 48 kHz 立体声、无量化。

git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
python examples/generate.py --output outputs/first-song

运行结束后打开 outputs/first-song/audio.flac 即可试听。

生态与周边

• 在线试用：无需安装，浏览器里直接生成歌曲；
• YuE2-Turbo：第三方推理与服务工具包，支持并发请求加速；
• ComfyUI：官方提供原生节点与文生音乐工作流模板；
• Maestro：本地歌曲生成、作曲规划与翻唱工具；
• Agent Skill：可把描述、ABC 乐谱或参考录音转成器乐作品。

适合谁用

如果你在做 AI 音乐创作、风格迁移研究，或希望把可控的音乐生成能力接进自己的产品与工作流，YuE2 值得认真评估。需要注意的是它对硬件与环境有一定要求，本地跑通需要一块显存充足的 NVIDIA 显卡。