llama.cpp

项目简介

llama.cpp 是一个用 C/C++ 编写的大语言模型（LLM）与视觉语言模型（VLM）推理引擎，构建在 ggml 张量库之上。它的目标是：以最小的环境配置，在尽可能广泛的硬件上获得接近最优的推理性能——既可以在本地笔记本上跑，也可以部署到云端。

项目采用 MIT 协议，是当前本地大模型生态中最活跃的基础设施之一。

核心特性

• 零依赖的 C/C++ 实现：不依赖 Python 运行时，编译产物可直接分发。
• 量化支持：提供 1.5-bit 到 8-bit 的整数量化，大幅降低内存占用并提升推理速度。
• 广泛的硬件后端：
  • Apple Silicon（ARM NEON、Accelerate、Metal）
  • x86（AVX、AVX2、AVX512、AMX）
  • RISC-V（RVV、ZFH 等扩展）
  • NVIDIA GPU（CUDA）、AMD GPU（HIP）、摩尔线程 GPU（MUSA）
  • Vulkan、SYCL、WebGPU、CANN（昇腾 NPU）等
• CPU + GPU 混合推理：当模型大于显存容量时，可把部分层放到 CPU 上，实现“跑得动”。
• 多模态能力：内置图像、音频格式解码，支持 VLM 推理。

快速上手

官方提供了多种安装方式，最省事的是脚本安装：

# Linux / macOS
curl -LsSf https://llama.app/install.sh | sh

# Windows PowerShell
irm https://llama.app/install.ps1 | iex

也可以从 Releases 下载预编译二进制、使用 Docker 镜像，或按 docs/build.md 从源码构建。

安装完成后，可直接从 Hugging Face 拉取 GGUF 模型并对话：

# 命令行对话
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# 启动 OpenAI 兼容的 API 服务
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

llama serve 会启动一个兼容 OpenAI 接口的 HTTP 服务，并自带 Web UI，方便直接用浏览器测试。

主要工具

适用与注意

llama.cpp 适合需要私有化、离线化部署大模型的场景，例如本地知识助手、端侧 AI 应用、推理性能研究等。需要注意的是，不同硬件后端的性能差异明显，实际部署前建议参考官方性能调优文档；同时项目迭代极快，命令行参数与 API 可能随版本调整，生产环境建议锁定具体版本。

社区与贡献

项目欢迎 PR 贡献，协作者会依据贡献度被邀请加入。文档目录 docs/ 下包含构建、Docker、Android、多 GPU 等详细指南，是上手时最值得先读的部分。