PrivateGPT

PrivateGPT 简介

PrivateGPT 是一个开源的 API 层，目标是把本地模型变成可用于生产的 AI 应用。它本身不运行模型，而是通过 OPENAI_API_BASE 连接任意兼容 OpenAI 接口的推理服务（如 Ollama、llama.cpp、vLLM），在其上提供 RAG、工具调用、MCP、Text-to-SQL 等高层能力。

只要推理服务实现了 /v1/chat/completions 和 /v1/models，就可以与 PrivateGPT 配合使用。

核心能力

• 标准 Messages API：支持流式、异步与 token 计数
• 文件与工件摄取，PDF 等文档解析
• 带引用的检索与 Agentic RAG
• 内置工具：网页搜索、网页抓取、代码执行
• 自定义工具与 MCP 连接器
• 数据库与 CSV 的结构化访问
• Embeddings 与编排能力

架构示意

你的应用 / Agent / 工作流 / UI
              |
        PrivateGPT API
              |
兼容 OpenAI 的推理服务（Ollama、llama.cpp、vLLM …）

快速上手

1. 安装 PrivateGPT（macOS 可用 Homebrew，Linux/Windows 推荐 uv 工具安装）
2. 启动一个兼容 OpenAI 的推理服务，例如 Ollama，并拉取对话模型与嵌入模型
3. 设置 OPENAI_API_BASE 与 OPENAI_EMBEDDING_API_BASE 后运行 private-gpt serve
4. 访问 http://localhost:8080/ui 使用内置工作台

内置 UI 适合发消息、选择模型、上传文档、测试带引用的检索、按会话启用工具，以及配置数据库、MCP、技能和自定义工具，也可通过 API Debugger 查看请求与响应。

生态集成

PrivateGPT 可作为 Claude Code、Claude Desktop、Claude for Microsoft 365、OpenCode 等工具的本地后端，也兼容 n8n、VS Code、Cline 等支持本地 OpenAI 兼容提供方的工具。

与 Claude API 的兼容性

项目以 Claude API 为参考，覆盖消息、流式、文件摄取、检索引用、工具调用、MCP、结构化输出等主要能力；提示缓存与 OAuth/组织管理暂未支持，Skills 仍处于基础阶段。

适用建议

适合对数据隐私敏感、希望在内网部署 AI 能力的企业与团队。使用前需准备好推理服务与嵌入模型，并评估所需高级功能是否已覆盖。