AX 爱鲜报

Voicebox 语音盒

Voicebox 是本地优先的开源 AI 语音工作室,支持零样本声音克隆、多引擎语音合成、全局听写与 MCP 智能体语音输出,模型与数据全部留在本机,可视为 ElevenLabs 与 WisprFlow 的开源整合替代。

过去 7 天收获 7 颗 Star

爱鲜报评分

0.0

0 人评分

59k

星数

否

中文

Python

主语言

是

活跃

106

贡献者

人工分析

EDITORIAL

推荐理由

Voicebox 把语音输入与输出整合到一个本地应用中,内置 8 个 TTS 引擎、23 种语言和声音克隆能力,隐私完全可控。Tauri 原生架构与 REST/MCP 接口让它既能当桌面工具,也能作为语音能力底座接入自己的应用或 AI Agent。对于关注本地 AI 与语音交互的开发者,这是一个功能完整且 MIT 许可的高星项目。

适用场景

  • 本地化语音合成与声音克隆工具搭建
  • 为 Claude Code、Cursor 等 MCP 智能体添加语音输出
  • 播客、有声书、对话剧本的多轨语音制作
  • 全局听写输入,替代云端语音输入法
  • 在自有应用中通过 REST API 集成 TTS/STT 能力

优点

  • 本地优先,模型、声音数据与录音不出本机,隐私性强
  • 集成 8 个 TTS 引擎与 Whisper STT,覆盖克隆、预设、描述生成等多种模式
  • 支持 23 种语言、情感标签与后处理音效,表现力丰富
  • 提供 REST API 与内置 MCP 服务器,便于二次集成
  • 基于 Tauri(Rust)构建,非 Electron,原生性能更好
  • MIT 许可,完全开源免费

缺点

  • Linux 暂无预编译二进制,需自行从源码构建
  • 本地运行对 GPU/内存有一定要求,低配设备体验受限
  • 多引擎与模型下载配置较复杂,首次上手需要阅读文档
  • 中文文档与中文社区支持有限,主要以英文资料为主
上手难度 进阶

Voicebox 是什么

Voicebox 是一个本地优先的开源 AI 语音工作室,把语音输入与语音输出整合在同一个应用中。你可以用几秒钟的音频克隆任意声音、用 23 种语言生成语音、通过全局快捷键向任意输入框听写,还能让支持 MCP 的 AI Agent 用你克隆的声音说话。

它常被看作 ElevenLabs(语音输出)与 WisprFlow(语音输入)的开源整合替代方案,所有模型、声音数据与录音都留在本机。

核心能力

多引擎语音合成

内置 8 个 TTS 引擎,可按次切换:

  • Qwen3-TTS:高质量多语言克隆,支持“慢点说”“耳语”等表达指令
  • Qwen CustomVoice:9 个精选预设音色,无需参考音频
  • Qwen VoiceDesign:用一段文字描述生成音色
  • LuxTTS:轻量英文引擎,CPU 上可达 150 倍实时
  • Chatterbox Multilingual / Turbo:支持 [laugh]、[sigh] 等副语言标签
  • HumeAI TADA、Kokoro:更多预设与风格选择

声音克隆与预设音色

支持零样本克隆(给一段参考音频即可),也提供 50 多个通过 Kokoro 与 Qwen CustomVoice 提供的预设音色。

语音输入与听写

全局听写热键支持按住说话与切换两种模式,macOS 上可自动粘贴,任何文本框内都有应用内麦克风,底层使用 Whisper 做语音识别。

智能体语音输出

任何支持 MCP 的 Agent(如 Claude Code、Cursor、Cline)只需调用一次 voicebox_speak 工具,就能用你克隆的声音与你对话。

长文本与故事编辑器

自动分块并交叉淡化,可处理脚本、文章、章节等长内容;多轨时间线编辑器适合制作对话、播客与叙事作品。

技术架构

  • 主语言为 Python,桌面端基于 Tauri(Rust) 而非 Electron
  • 支持 macOS(MLX/Metal)、Windows(CUDA)、Linux、AMD ROCm、Intel Arc 与 Docker
  • 提供 REST API 与内置 MCP 服务器,方便集成到自有应用

快速开始

可从官网下载 macOS(Apple Silicon / Intel)与 Windows 安装包,或使用 Docker 启动:

docker compose up

Linux 暂无预编译二进制,需参考官方文档从源码构建。首次使用建议阅读故障排查指南,处理模型下载与 GPU 相关问题。

适用人群

  • 希望本地化处理语音、注重隐私的开发者与创作者
  • 想为 AI Agent 增加语音交互能力的工程师
  • 需要批量生成多语言配音、播客或有声书内容的团队
  • 希望以 API 方式集成 TTS/STT 能力的应用开发者

评论

登录后才可评论与评分

0 条评论

  • 暂无评论,来写第一条吧。