LlamaFactory 羊驼工厂

LlamaFactory 羊驼工厂

LlamaFactory 是一个统一高效的大语言模型与多模态模型微调框架，支持超过 100 种模型，包括 LLaMA、Qwen、DeepSeek、Gemma、GLM、Mistral 等。项目提供零代码 CLI 和 Web UI（LLaMA Board），让微调变得像填表一样简单。

核心特性

• 模型广泛：覆盖 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、DeepSeek、Gemma、GLM、Phi 等主流模型。
• 训练方法齐全：支持（连续）预训练、（多模态）监督微调、奖励建模、PPO、DPO、KTO、ORPO 等。
• 资源高效：支持 16-bit 全参微调、冻结微调、LoRA 以及 2/3/4/5/6/8-bit QLoRA（AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ）。
• 先进算法：集成 GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LoRA+、LoftQ、PiSSA 等。
• 实用技巧：FlashAttention-2、Unsloth、Liger Kernel、KTransformers、RoPE scaling、NEFTune、rsLoRA。
• 任务广泛：多轮对话、工具调用、图像理解、视觉定位、视频识别、音频理解等。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等。
• 快速推理：通过 vLLM 或 SGLang worker 提供 OpenAI 风格 API、Gradio UI 和 CLI。

快速开始

安装 LlamaFactory 后，可通过命令行或 Web UI 启动微调。例如使用 CLI 进行 LoRA 微调：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

或启动 Web UI：

llamafactory-cli webui

更多详细用法请参考官方文档。

生态与支持

LlamaFactory 已被 Amazon、NVIDIA、阿里云等企业采用，并提供 Colab、PAI-DSW、AMD GPU Cloud 等云训练入口。项目拥有中文文档、微信用户群和 NPU 用户群，对中文开发者友好。

许可证

Apache-2.0