AX 爱鲜报

开源项目

按分类、标签筛选，或直接搜索项目名称。

共 2 个项目 · 标签：推理引擎

vLLM 封面

vLLM

vLLM 是源自 UC Berkeley 的高吞吐、低显存 LLM 推理与服务引擎，凭借 PagedAttention 与连续批处理大幅提升吞吐，兼容 OpenAI API，支持 200+ 模型架构与多种硬件。

Python 96k 24k
Python LLM AI OpenAI 推理引擎 模型部署
llama.cpp 封面

llama.cpp

用 C/C++ 实现的大模型推理引擎，基于 ggml 构建，无需额外依赖即可在 CPU、Apple Silicon、NVIDIA/AMD GPU 等多种硬件上本地运行 LLM 与多模态模型，并提供命令行工具与 OpenAI 兼容的 API 服务。

C++ 133k 25k
LLM AI C++ 推理引擎 量化 GGUF