AirLLM 空气大模型推理

AirLLM 是什么

AirLLM 是一个专注于降低大模型推理显存占用的开源项目。它的核心思路不是量化、蒸馏或剪枝，而是把模型按层拆分，推理时逐层流式加载到 GPU：同一时刻显存里只保留当前层，其余权重留在磁盘或内存中。

因此，70B 模型可以在单张 4GB 显卡上跑起来，DeepSeek-V3（671B）也只需约 12GB 显存。

核心特性

• 极低显存推理：70B 单卡 4GB，Qwen3-235B 约 3GB，DeepSeek-V3 约 12GB。
• 无需模型压缩技术：不做量化、蒸馏、剪枝即可运行原始权重。
• 统一接口：通过 AutoModel 自动识别模型类型，用法接近 transformers。
• 模型压缩加速：基于块状量化（block-wise quantization）的压缩方案，可带来最高约 3 倍推理加速，精度损失很小。
• 多平台支持：支持 MacOS 与 CPU 推理。
• 小显存训练：冻结权重逐层流式加载，适配器留在 GPU 上，可在 6GB 显存下微调 125B 级模型。

快速上手

安装：

pip install airllm

推理示例（与 transformers 风格一致）：

from airllm import AutoModel

MAX_LENGTH = 128
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

input_text = ['What is the capital of United States?']
input_tokens = model.tokenizer(
    input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False,
)

generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True,
)

print(model.tokenizer.decode(generation_output.sequences[0]))

只需替换 from_pretrained 中的模型 ID，即可切换到更大的模型。

支持的模型

项目已覆盖主流开源大模型，包括 Qwen 系列、Llama 3.x/4、DeepSeek V2/V3、Phi-4、Gemma、ChatGLM、Baichuan、Mistral、InternLM 等，并持续跟进最新发布的模型。

注意事项

• 首次推理会先对模型做分层拆分并保存，需要预留充足的磁盘空间。
• 逐层加载依赖磁盘 IO，推理速度会慢于常驻显存方案，更适合本地实验而非高并发在线服务。
• 部分新模型对 transformers、CUDA、flash-attn 版本有特定要求，使用前建议查看对应更新说明。

适用人群

显存有限但想体验大模型的个人开发者、做低资源微调实验的研究者，以及希望在 MacOS 或 CPU 上运行大模型的用户。