llama.cpp
用 C/C++ 实现的大模型推理引擎，基于 ggml 构建，无需额外依赖即可在 CPU、Apple Silicon、NVIDIA/AMD GPU 等多种硬件上本地运行 LLM 与多模态模型，并提供命令行工具与 OpenAI 兼容的 API 服务。
C++
133k
25k
LLM
AI
C++
推理引擎
量化
GGUF