本地部署相关工具、教程与提示词

汇集本地部署主题下已发布的工具、教程、提示词与场景资料,帮助你了解用途、使用条件及操作方法。

Agent 与工作流精选

✧

LiveRecall|本地屏幕截图语义检索工具

LiveRecall

截取屏幕画面并保存到本地,支持用自然语言和 OCR 文本搜索历史截图的桌面应用。

Agent 配套工具 本地部署信息检索
需要部署 · 国内可用性待核验
使用难度待核验
✧

Upsonic|Python 自主式与传统 AI Agent 构建框架

Upsonic

Upsonic 是一个 Python 框架,可用于构建自主式 Agent 与传统任务型 Agent,并支持自定义工具、MCP 工具接入与统一 OCR 文档处理接口。

Agent 开发框架 Python智能体框架本地部署
需要部署 · 国内可用性待核验
使用难度待核验
✧

livekit/agents|实时语音AI Agent开发框架

livekit/agents

用于构建可编程实时多模态语音AI Agent的Python开源框架,支持STT、LLM、TTS组合、电话接入、MCP工具与测试。

Agent 开发框架 Python智能体框架本地部署
需要部署 · 国内可用性待核验
使用难度待核验
✧

localGPT|本地私有文档问答与检索平台

localGPT

LocalGPT 是一套可在本机部署的私有文档智能平台,用混合检索、重排序与 Ollama 模型对自有文档做问答、摘要与溯源。

Agent 配套工具 本地模型本地部署RAG
需要部署 · 国内可用性待核验
使用难度待核验
✧

PrivateGPT|本地模型私有 AI 应用 API 接入层

PrivateGPT

PrivateGPT 是一个开源 API 层,把本地 OpenAI 兼容推理服务封装为面向私有 AI 应用的 Claude 风格接口,提供检索、工具、MCP、数据库等后端能力。

Agent 开发框架 本地模型本地部署RAG
需要部署 · 国内可用性待核验
使用难度待核验
✧

Jan|本地运行大模型的开源桌面客户端

Jan

Jan 是一款开源桌面应用,可在本机下载运行开源大模型,也可接入云端模型服务,并提供本地 OpenAI 兼容接口。

Agent 配套工具 本地模型本地部署多模型接入
需要部署 · 国内可用性待核验
使用难度待核验
✧

Ollama|本地与云端大模型运行及接入工具

Ollama

用于在本地或云端下载、运行和管理开放模型,并通过命令行、REST API 与 Python/JavaScript SDK 接入自有应用的模型运行时。

Agent 配套工具 本地模型本地部署多模型接入
需要部署 · 国内可用性待核验
使用难度待核验
✧

PraisonAI|开源Python多智能体框架,可离线运行

PraisonAI

PraisonAI 是一个开源 Python Agent 框架,支持多智能体协作、工作流编排、工具与 MCP 接入,并可用本地模型离线运行。

Agent 开发框架 Python智能体框架本地部署
需要部署 · 国内可用性待核验
使用难度待核验
✧

sagentic-af|构建与本地运行自主智能体的TypeScript框架

sagentic-af

Sagentic.ai Agent Framework 是一个用于创建项目、在本地开发服务器中运行并通过 /spawn 接口启动智能体的 TypeScript 框架。

Agent 开发框架 智能体框架本地部署TypeScript
需要部署 · 国内可用性待核验
使用难度待核验

场景解决方案

L

LocalAIproject|单机本地AI助手与ComfyUI批量视频流水线

在单台 Windows 工作站上离线运行的桌面 AI 助手,能对话、调用白名单工具、读写文件,并与 ComfyUI 渲染共用一块显卡批量出图出片;适合想自建本地助理、又不愿把素材上传云端的个人和小团队。

职场办公
使用难度
详见说明

AI 工具

C
外部应用

ChatGLM2-6B|中英双语对话开源模型

面向中文与英文对话场景的开源语言模型,是 ChatGLM-6B 的第二代版本,适合开发者本地部署用于对话应用实验与二次开发。

开源大语言模型本地部署(GitHub 开源项目)
使用难度
站长实测状态尚未登记
M
外部应用

Muse Glimmer|30B 多模态本地智能体模型

Meta 开源的 300 亿参数多模态智能体模型,支持文本与图像输入及工具调用,可 4-bit 量化后在消费级显卡本地运行,适合想本地部署智能体的研究者与开发者。

开源大语言模型本地部署(Hugging Face 模型)
使用难度
站长实测状态尚未登记
G
外部应用

Gemma 4|开源权重多模态大模型

谷歌推出的开源权重大语言模型系列,提供从端侧到服务器的多种尺寸,支持图像、音频输入和长上下文,适合希望自行部署或二次开发的开发者与研究者。

开源大语言模型待核验(模型权重与推理代码发布平台以官方页面为准)
使用难度
站长实测状态尚未登记
A
外部应用

AnythingLLM|本地部署的文档知识库与智能体工作台

面向研究与项目资料管理的用户,可把文档组织成工作区知识库,选择不同模型进行问答,并配置智能体技能与后台任务,适合需要集中管理资料的个人和小团队。

AI 工作台与智能体客户端与可自行部署的服务端(具体方式待核验)
使用难度
站长实测状态尚未登记
C
GitHub 开源

ComfyUI|节点式AI图像与视频工作流

ComfyUI 是一款开源的节点式 AI 生成工具:用可视化连线把模型加载、提示词、采样、放大等环节拼成工作流,支持图像、视频、音频、3D 和文本生成,可本地离线运行,也有官方付费云版本。

AI 图像生成Windows、Linux、macOS;按硬件选择对应安装路线
使用难度
站长实测状态尚未登记
S
GitHub 开源

Stable Diffusion WebUI|本地AI绘画与图像处理

用 Python 与 Gradio 搭建的 Stable Diffusion 网页操作界面,将文生图、图生图、修复与放大等功能集中在一个本地网页里,用户不必自己编写推理脚本。

AI 图像生成Windows、Linux、macOS;硬件与版本要求见原仓库
使用难度
站长实测状态尚未登记