speech-to-speech｜模块化低延迟语音对话流水线

用途说明

speech-to-speech 是 Hugging Face 开源的低延迟、全模块化语音 Agent 流水线，按 VAD（语音活动检测）→ STT（语音识别）→ LLM（大模型）→ TTS（语音合成）串联，把用户说的话实时转成回复语音。每个组件都可以替换，既可完全本地部署，也可接 API 后端。

适用人群

• 想自建实时语音助手的开发者；
• 做机器人对话系统的团队；
• 需要评估不同 STT / TTS 模型组合效果的研究者。

已知能力

• 对外提供与 OpenAI Realtime 兼容的 WebSocket API，便于已有客户端接入。
• 流水线各环节解耦，可按需替换模型或服务。
• 据资料，该项目已作为 Reachy Mini 机器人的对话后端投入生产使用。

使用步骤（通用流程，待核验）

1. 阅读项目文档，确认所需 Python 环境与依赖。
2. 为 VAD、STT、LLM、TTS 四个环节分别选定本地模型或 API 服务。
3. 配置各组件参数与凭证，启动服务。
4. 通过兼容 OpenAI Realtime 的 WebSocket 接口接入客户端或机器人。
5. 根据延迟与效果反馈，逐步替换组件做调优。

费用与限制（待核查）

• 选择 API 后端时会产生调用费用，各厂商价格待核验；本地部署则需自备算力。
• 项目许可证、各组件模型的许可与商用条件需查阅产品独立条款。
• 端到端延迟、并发能力与国内网络下的稳定性均无实测数据，需自行验证。

来源与使用边界

原始入口：https://github.com/huggingface/speech-to-speech

整理来源：https://github.com/ikaijua/Awesome-AITools

依据来源资料经AI翻译整理，未由本站实测。原始资料许可：CC-BY-4.0；目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。