Ollama
Ollama 是一个用 Go 编写的本地大模型运行与管理工具，一条命令即可下载并运行 DeepSeek、Qwen、Gemma、GLM、Kimi 等开源模型，并提供 REST API、Python/JS SDK 与丰富的社区集成。
过去 7 天收获 2 颗 Star
爱鲜报评分
0.0
0 人评分
185k
星数
否
中文
Go
主语言
是
活跃
627
贡献者
人工分析
EDITORIAL推荐理由
Ollama 把「下载模型、启动推理、对外提供 API」压缩成几条命令，极大降低了本地部署 LLM 的门槛，是当前最主流的本地模型运行时之一。它同时支持 macOS、Windows、Linux 与 Docker，并可直接对接 Claude Code、Codex、Open WebUI 等工具，适合作为个人与团队接入开源模型的统一入口。
适用场景
- 本地离线运行开源大模型
- 为自研应用提供统一的 LLM 推理 API
- 在 IDE/CLI 中接入本地代码助手
- 搭建私有化 RAG 与知识库问答
- 快速对比评测多个开源模型
优点
- 安装与使用极简，一条命令即可跑通模型
- 跨平台支持 macOS、Windows、Linux 与 Docker
- 提供 REST API 及 Python、JavaScript 官方 SDK
- 模型库丰富，覆盖 DeepSeek、Qwen、Gemma 等主流开源模型
- 社区生态庞大，大量聊天界面与编辑器插件原生集成
缺点
- 主要面向本地/单机推理，大规模并发与集群部署能力有限
- 模型实际表现受本地显存与硬件性能制约
- 部分高级能力（如云端模型、团队管理）依赖官方服务
- 文档与社区以英文为主，中文资料需依赖第三方整理
上手难度
入门
项目简介
Ollama 是一个用 Go 语言编写的开源大模型本地运行工具，目标是让开发者用最简单的方式在本地或私有环境中跑起开源模型。它内置模型下载、量化权重管理与推理服务，一条命令即可开始对话。
核心能力
- 一键运行模型：
ollama run即可拉取并启动模型，覆盖 DeepSeek、Qwen、Gemma、GLM、Kimi、MiniMax、gpt-oss 等。 - REST API 服务：默认监听
11434端口，提供/api/chat、/api/generate等接口，方便接入自有应用。 - 官方 SDK：提供
ollama-python与ollama-js，几行代码即可完成调用。 - Modelfile：支持自定义系统提示词、参数与模型导入，便于固化业务配置。
- 生态集成：可与 Claude Code、Codex、Open WebUI、Continue、Cline 等工具直接对接。
快速上手示意
# 安装（macOS / Linux）
curl -fsSL https://ollama.com/install.sh | sh
# 运行模型
ollama run qwen
通过 API 调用：
curl http://localhost:11434/api/chat -d '{
"model": "qwen",
"messages": [{"role": "user", "content": "你好"}],
"stream": false
}'
Python 调用：
from ollama import chat
resp = chat(model='qwen', messages=[
{'role': 'user', 'content': '你好'},
])
print(resp.message.content)
适用与注意
Ollama 更适合个人开发者、小团队与私有化场景下的本地推理；若需要高并发服务或集群调度，通常需要在其之上再叠加网关或推理框架。模型运行效果与本地显存、内存密切相关，选型前建议先确认硬件条件。
评论
- 暂无评论，来写第一条吧。