Transformers

项目简介

Transformers 是 Hugging Face 维护的模型定义框架，为文本、计算机视觉、音频、视频和多模态模型提供统一的推理与训练接口。它把模型结构定义集中到一处，使同一份定义能被整个生态共同认可。

换句话说，只要某个模型在 Transformers 中得到支持，它就能与大多数训练框架（Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch-Lightning 等）、推理引擎（vLLM、SGLang、TGI 等）以及相邻建模库（llama.cpp、mlx 等）配合使用。

核心特点

• 海量模型：Hugging Face Hub 上有超过 100 万个 Transformers 模型权重可直接加载。
• 多模态覆盖：文本生成、图像分类、语音识别、视觉问答等任务共用一套 API。
• Pipeline 高层封装：自动处理预处理与后处理，几行代码完成推理。
• 生态枢纽：作为模型定义的「事实标准」，连接训练与推理两端。

快速上手

安装依赖（需 Python 3.11+、PyTorch 2.6+）：

pip install "transformers[torch]"

使用 Pipeline 做文本生成：

from transformers import pipeline

pipe = pipeline(task="text-generation", model="Qwen/Qwen2.5-1.5B")
pipe("the secret to baking a really good cake is ")

对话场景只需构造消息列表：

import torch
from transformers import pipeline

chat = [
    {"role": "system", "content": "你是一个幽默的机器人助手。"},
    {"role": "user", "content": "纽约有什么好玩的地方？"},
]

pipe = pipeline(task="text-generation", model="meta-llama/Meta-Llama-3-8B-Instruct",
                dtype=torch.bfloat16, device_map="auto")
print(pipe(chat, max_new_tokens=512)[0]["generated_text"][-1]["content"])

适用人群

适合需要快速调用开源模型做推理的开发者、进行模型微调的研究者，以及希望统一多框架模型定义、降低集成成本的工程团队。

注意事项

• 大模型高并发推理建议搭配 vLLM、SGLang 等专用引擎。
• 从源码安装可获得最新特性，但稳定性不如正式发布版本。