AnythingLLM

AnythingLLM 是什么

AnythingLLM 是一款「全能型」本地优先 AI 应用：接入你喜欢的本地或云端大模型，导入自己的文档，就能在几分钟内得到一个私有的 ChatGPT 式助手。它把文档检索（RAG）、AI Agent、向量数据库、多用户权限和可视化工作流打包在一起，默认本地运行，也支持部署到云端。

项目由 Mintplex-Labs 维护，采用 MIT 协议，提供桌面端（Mac / Windows / Linux）、Docker 版以及开源的 Android 移动端。

核心能力

• 文档对话：支持 PDF、TXT、DOCX 等多种格式，拖拽上传即可，回答附带来源引用。
• 多模型接入：兼容 OpenAI、Azure OpenAI、AWS Bedrock、Anthropic、Gemini、Ollama、LM Studio、LocalAI、DeepSeek、OpenRouter 等。
• 内置本地推理：可基于 llama.cpp 在 CPU/GPU 上直接跑本地模型，无需额外配置。
• AI Agent：工作区内即可调用工具、浏览网页，并支持 MCP 兼容与自定义 Agent。
• 无代码 Agent 工作流：通过 Agent Flows 可视化编排复杂任务。
• 多用户与权限：按用户控制访问与体验（Docker 版）。
• 品牌定制：自定义主题色与白标（Docker 版）。
• 开发者 API：提供完整 API，便于集成到自有系统。

快速上手思路

最省事的方式是直接下载桌面版安装包；若需要多用户或对外服务，则使用 Docker 部署。启动后在设置中选择模型提供方（本地模型或云端 API Key），创建工作区并上传文档，即可开始对话。

1. 安装桌面版 / 启动 Docker 容器
2. 配置 LLM 提供方与 Embedder
3. 新建 Workspace，上传文档
4. 在聊天中提问，或启用 Agent 执行任务

适用人群

• 想给团队搭建私有知识库问答的企业
• 希望本地离线运行大模型的开发者
• 需要把 AI 助手嵌入自有网站的产品团队
• 想快速试验 RAG 与 Agent 流程的个人开发者

注意事项

多用户、白标、可嵌入聊天组件等能力仅在 Docker 版本中提供；Agent 的联网与工具调用涉及外部访问，生产环境需评估权限与安全边界。