VibeVoice

VibeVoice 是什么

VibeVoice 是微软开源的前沿语音 AI 模型家族，同时覆盖 文本转语音（TTS） 与 语音识别（ASR） 两条技术路线。项目的核心创新在于使用 7.5Hz 超低帧率的连续语音分词器（声学 + 语义），在保持音质的同时显著降低长序列建模的计算开销，并结合 next-token diffusion 框架：由 LLM 理解文本与对话上下文，由扩散头生成高保真声学细节。

主要模型

VibeVoice-ASR

面向长音频的统一语音转文字模型，可在单次推理中处理最长 60 分钟 的连续音频，输出包含 谁说的（说话人）、何时说的（时间戳）、说了什么（内容） 的结构化转写结果。

• 支持自定义热词，提升专有名词与领域术语的识别准确率
• 原生多语言，覆盖 50 种以上语言
• 支持 vLLM 加速推理与流式识别
• 提供微调代码，便于适配自有数据

VibeVoice-Realtime-0.5B

实时文本转语音模型，支持流式文本输入与长音频稳定生成，并提供多语言实验性音色（德语、法语、意大利语、日语、韩语等）。

使用方式概览

项目提供 Hugging Face 模型权重、Colab 示例与在线 Playground，可先在线体验再本地部署。典型流程为：

1. 从 Hugging Face 下载对应模型权重
2. 按文档安装依赖并加载模型
3. 对 ASR 传入音频文件或音频流，获取结构化转写结果
4. 对 TTS 传入文本，生成语音输出

# 示意：加载模型并推理（具体接口以官方文档为准）
from transformers import AutoModel, AutoProcessor

model = AutoModel.from_pretrained("microsoft/VibeVoice-ASR")
processor = AutoProcessor.from_pretrained("microsoft/VibeVoice-ASR")

适用与注意

VibeVoice 适合会议记录、播客转写、字幕生成、语音助手等长语音场景。需要注意的是，TTS 部分代码因被滥用已从仓库移除，仅保留模型权重；大模型推理对显存要求较高，资源有限时可考虑 BitNet 量化版本在 CPU 上运行。