TextGen 本地大模型桌面端

TextGen 是什么

TextGen 是一款面向本地大语言模型的开源桌面应用，由 oobabooga 维护。它把模型推理、对话界面和 API 服务打包在一起，下载解压后双击即可打开窗口使用，无需复杂配置。

项目主打 100% 离线与隐私：没有遥测、不请求外部资源、不做远程更新检查。

核心功能

对话与生成

• instruct 指令模式，以及面向自定义角色的 chat / chat-instruct 模式，提示词通过 Jinja2 模板自动格式化
• 视觉多模态：在消息中附加图片进行理解
• 文件附件：上传文本、PDF、.docx 文档并就其内容提问
• 支持编辑消息、在多个版本间切换、在任意节点分支对话
• Notebook 标签页用于非对话式的自由文本生成

后端与 API

• 支持 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 等多种后端，切换后端与模型无需重启
• 提供 OpenAI/Anthropic 兼容的 Chat、Completions、Messages 接口，并支持工具调用，可作为本地替代服务
• 工具调用：模型可在对话中调用自定义函数，如网页搜索、页面抓取、数学计算；每个工具就是一个 .py 文件，同时支持 MCP 服务器

训练与图像生成

• 在多轮对话或原始文本数据集上微调 LoRA，支持中断后继续训练
• 独立的图像生成标签页，支持 diffusers 系列模型、4bit/8bit 量化与带元数据的持久化图库

快速开始

最省事的方式是下载官方便携包，解压后双击 textgen 即可：

下载 -> 解压 -> 双击 textgen -> 窗口打开

便携包覆盖 Linux、Windows、macOS，并提供 CUDA、Vulkan、ROCm 与纯 CPU 版本，依赖全部内置，兼容 GGUF（llama.cpp）模型。

下载模型

1. 从 Hugging Face 下载 GGUF 模型文件
2. 放入 user_data/models 目录

界面会自动识别。多文件模型（如 16bit Transformers、EXL3）需放在 user_data/models 下的子目录中，且需要完整安装而非便携版。

安装方式

除便携包外，还提供两种方式：

• venv 手动便携安装：适合 Python 3.9+ 环境，克隆仓库后创建虚拟环境并安装 requirements/portable 下的依赖，再运行 server.py 启动 Web UI
• 完整安装：需要额外后端、训练、图像生成或扩展（TTS、语音输入、翻译）时使用，约需 10GB 磁盘空间并会下载 PyTorch；提供一键安装脚本，也可用 Conda 手动配置

适用人群

TextGen 适合希望在本机私有运行大模型、又不想深入命令行细节的开发者；也适合需要本地 OpenAI 兼容接口来对接现有应用的团队。若涉及商业闭源分发，需注意 AGPL-3.0 协议的限制。