Pipecat 实时语音多模态 AI 框架

Pipecat 是什么

Pipecat 是一个开源的 Python 框架，用于构建实时语音与多模态对话智能体。它把音频、视频、AI 服务、传输层和对话流水线统一编排起来，让开发者专注于智能体本身的业务逻辑，而不是底层实时通信细节。

项目由 Daily 与社区共同维护，采用 BSD-2-Clause 许可，目前在 GitHub 上拥有超过 1.6 万 Star。

核心特性

语音优先

框架内置语音识别（STT）、文本转语音（TTS）与对话处理能力，适合构建自然流畅的流式语音对话。

可组合的流水线

Pipecat 把每个处理环节抽象为可插拔组件，你可以像搭积木一样组合出复杂行为：

# 概念示意：将 STT、LLM、TTS 串成一条处理流水线
pipeline = Pipeline([
    transport.input(),
    stt_service,
    llm_service,
    tts_service,
    transport.output(),
])

多智能体就绪

每条流水线本身就是一个智能体。多个智能体之间可以交接（handoff）、并行分发（fan-out）、以 sidecar 方式运行，或跨进程、跨机器分布式部署，通过共享总线协调。

实时低延迟

支持 WebSocket、WebRTC 等多种传输方式，面向超低延迟的实时交互场景。

可以构建什么

• 语音助手：与 AI 进行自然的流式对话
• 多智能体系统：专家智能体之间交接、并行协作
• AI 伴侣：教练、会议助手、角色扮演
• 多模态界面：语音、视频、图像等混合交互
• 互动叙事：结合生成式媒体的创意工具
• 业务智能体：客户接待、支持机器人、引导式流程

生态与工具

• 客户端 SDK：JavaScript、React、React Native、Swift、Kotlin、C++、ESP32
• Pipecat Flows：内置的结构化对话与状态管理能力
• Pipecat UI：基于 shadcn 的语音 AI 组件库
• Pipecat CLI：项目脚手架、监控与部署
• Whisker：实时流水线调试器
• Tail：终端仪表盘

上手建议

官方推荐通过 CLI 快速开始，例如运行 pipecat init quickstart，随后参考官方文档的快速入门指南。由于涉及实时音视频链路与多家 AI 服务配置，建议先跑通官方示例，再逐步替换为自己的服务与业务逻辑。

适用人群

适合具备一定 Python 与异步编程基础、希望快速构建实时语音或多模态 AI 应用的开发者与团队。