vLLM

vLLM 是什么

vLLM 是一个面向大语言模型的高吞吐、显存高效的推理与服务引擎，最初由 UC Berkeley Sky Computing Lab 开发，如今由来自 2000 多名贡献者的社区共同维护。它的目标是让 LLM 服务「简单、快速、便宜」。

核心创新是 PagedAttention：借鉴操作系统分页思想管理注意力的 Key/Value 缓存，显著减少显存浪费，从而在相同硬件上承载更多并发请求。

关键特性

性能相关

• 业界领先的服务吞吐
• 连续批处理（continuous batching）、分块预填充（chunked prefill）、前缀缓存
• 基于 CUDA/HIP Graph 的灵活模型执行
• 投机解码：n-gram、suffix、EAGLE、DFlash
• 预填充/解码/编码分离式部署（disaggregated prefill/decode/encode）

易用性相关

• 与 Hugging Face 模型无缝衔接
• 流式输出、并行采样、beam search 等解码算法
• 张量并行、流水线并行、数据并行、专家并行、上下文并行
• 结构化输出（xgrammar、guidance）、工具调用与推理结果解析
• OpenAI 兼容 API Server，另支持 Anthropic Messages API 与 gRPC
• 多 LoRA 支持，覆盖稠密层与 MoE 层

量化与算子

支持 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO 等多种量化方案；注意力算子涵盖 FlashAttention、FlashInfer、FlashMLA、Triton 等。

模型与硬件支持

vLLM 支持 Hugging Face 上 200+ 模型架构，包括：

• 纯解码器 LLM（Llama、Qwen、Gemma 等）
• MoE 模型（Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS 等）
• 混合注意力与状态空间模型（Mamba、Qwen3.5 等）
• 多模态模型（LLaVA、Qwen-VL、Pixtral 等）
• Embedding 与检索模型（E5-Mistral、GTE、ColBERT 等）
• 奖励与分类模型

硬件方面覆盖 NVIDIA、AMD、Intel GPU 与 x86/ARM/PowerPC CPU，并通过插件支持 Google TPU、Intel Gaudi、IBM Spyre、华为昇腾、Apple Silicon 等。

快速上手

推荐使用 uv 安装（也可用 pip）：

uv pip install vllm
vllm download-kernels  # 预编译内核，加快启动

如需开发调试，可从源码构建。安装完成后可按官方文档的 Quickstart 启动 OpenAI 兼容服务，再用熟悉的 SDK 调用。

适用与注意事项

vLLM 适合需要自建模型服务、追求高并发吞吐的团队，也适合研究推理调度与显存管理。需要注意的是，它对驱动、CUDA 版本与依赖较敏感，并行策略、显存分配与批处理参数需要一定调优经验；版本迭代较快，升级前建议先看变更说明。

许可与社区

项目采用 Apache-2.0 许可，商用友好。技术问题走 GitHub Issues，用户交流有官方论坛，开发协作有 Slack。