Unsloth 桌面版
Unsloth 是首个可在本地运行与训练大模型的桌面应用，支持 GGUF、MLX 及 Qwen、DeepSeek、Gemma、FLUX 等主流模型，训练速度约 2 倍、显存占用降低约 70%，并提供 OpenAI 兼容 API 与 Agent 接入。
过去 7 天收获 4 颗 Star
爱鲜报评分
0 人评分
79k
星数
否
中文
Python
主语言
是
活跃
435
贡献者
人工分析
EDITORIAL推荐理由
Unsloth 把「本地推理 + 微调训练 + 模型部署」整合进一个跨平台桌面应用，对想在自己机器上跑大模型的开发者非常友好。其核心卖点是在几乎不损失精度的前提下大幅降低显存占用、提升训练速度，并覆盖 LoRA、QLoRA、全参微调、RL/GRPO/DPO 等完整训练链路。近 8 万 Star 与活跃社区说明工程成熟度较高，适合作为本地 LLM 工作台的首选之一。
适用场景
- 本地运行开源大模型与多模态模型
- 在消费级显卡上微调 LoRA/QLoRA 模型
- 为 Claude Code、Codex 等 Agent 提供本地模型后端
- 搭建私有 RAG 与联网搜索问答
- 图像/视频扩散模型与 TTS 模型的训练与推理
优点
- 训练速度约 2 倍、显存占用降低约 70%，且宣称无明显精度损失
- 支持 GGUF、MLX、FP8、NVFP4 等多种格式的导入与导出
- 跨平台覆盖 Windows、Linux、WSL、macOS，兼容 NVIDIA、AMD、Intel GPU 与 CPU
- 提供 OpenAI 兼容 API，可无缝对接现有工具链与 Agent
- 桌面应用 + Web UI + 代码库三种使用形态，上手门槛低
缺点
- 功能面很广，文档与配置项较多，新手需要时间梳理
- 大模型训练仍依赖较好的 GPU 与显存，硬件门槛客观存在
- 部分新模型与特性迭代快，版本兼容性需留意
- 桌面应用闭源分发为主，深度定制需回到代码层
Unsloth 是什么
Unsloth 是一个面向本地大模型的运行与训练一体化工具，提供桌面应用、Web UI（Unsloth Studio）和代码库（Unsloth Core）三种形态。它支持在 Windows、Linux、WSL 与 macOS 上运行和微调 LLM、扩散模型、Embedding、TTS 等多类模型。
核心能力
- 本地推理：支持 GGUF、MLX 等格式，覆盖 Qwen、DeepSeek、Gemma、Kimi、GLM、FLUX 等主流模型家族。
- 高效微调：宣称训练速度约 2 倍、显存占用降低约 70%，支持 LoRA、QLoRA、全参微调、预训练、RL/GRPO/DPO 与 FP8。
- Agent 接入：可将本地模型接入 Claude Code、Codex、VS Code、OpenCode 等工具，并支持 MCP 与工具调用。
- 搜索与 RAG：内置私有联网搜索、深度研究与滚动上下文压缩。
- 导出部署：支持导出为 GGUF、FP8、NVFP4 等格式，并通过 OpenAI 兼容 API 对外服务。
快速上手
桌面版可直接从 Releases 下载对应平台安装包；也可使用脚本安装：
# macOS / Linux / WSL
curl -fsSL https://unsloth.ai/install.sh | sh
# Windows
irm https://unsloth.ai/install.ps1 | iex
此外还提供 Homebrew、Winget 与 Docker 镜像 unsloth/unsloth 等安装方式。
一行命令接入 Agent
Unsloth Start 可以把本地模型一键接到常用编码 Agent 上：
unsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL
支持的入口包括 claude、codex、vscode、opencode 等。
适用建议
如果你希望在本地完成「跑模型 → 微调 → 部署 → 接入 Agent」的完整闭环，Unsloth 是一个集成度很高的选择；若只需纯推理，也可只用其桌面版或 OpenAI 兼容 API 部分。
评论
- 暂无评论，来写第一条吧。