LLM Course 大模型学习路线

项目简介

LLM Course 是一份系统的大语言模型学习路线，由 mlabonne 维护。它把庞杂的 LLM 知识拆成三个部分，并配套大量可直接运行的 Colab Notebook，帮助学习者从零基础逐步走向能独立训练、微调与部署模型。

课程结构

课程分为三大板块：

• 🧩 LLM 基础（可选）：数学、Python 与神经网络的基础知识，适合零基础补齐前置。
• 🧑‍🔬 LLM 科学家：聚焦如何用最新技术构建尽可能好的模型，涉及预训练、微调、偏好对齐、量化与评测。
• 👷 LLM 工程师：聚焦如何基于 LLM 构建应用并部署上线，偏向工程与产品化。

配套 Notebook

仓库整理了作者撰写的一系列 Notebook 与文章，按主题分类：

工具类

• LLM AutoEval：自动评测模型
• LazyMergekit：一键合并模型
• LazyAxolotl：一键云端微调
• AutoQuant：一键量化（GGUF、GPTQ、EXL2、AWQ、HQQ 等格式）
• Model Family Tree：可视化模型家族树

微调类

• 使用 Unsloth 微调 Llama 3.1
• 使用 ORPO 单阶段微调 Llama 3
• 使用 DPO 提升 SFT 模型表现
• 使用 QLoRA 在免费 Colab 上微调 Mistral-7b
• 使用 Axolotl 微调 CodeLlama

量化类

• 8-bit 量化入门
• 使用 GPTQ 做 4-bit 量化
• 使用 GGUF 与 llama.cpp 量化
• 使用 ExLlamaV2 运行 EXL2 模型

使用建议

1. 先按路线图通读一遍，明确自己处于哪个阶段。
2. 从感兴趣的 Notebook 入手，在 Colab 中直接运行，边跑边读配套文章。
3. 微调与量化对显存和网络有要求，建议先跑小模型或免费额度验证流程。

学习路径示意：
基础（数学/Python/神经网络）
        ↓
LLM 科学家（预训练 → 微调 → 对齐 → 量化 → 评测）
        ↓
LLM 工程师（应用构建 → 部署上线）

适合谁

适合希望系统进入大模型领域的开发者、算法工程师与产品技术人员。项目内容以英文为主，需要一定的英文阅读能力，但配套 Notebook 的可运行性大幅降低了实践门槛。