Happy-LLM 从零开始构建大模型
Datawhale 出品的系统性 LLM 中文开源教程，从 NLP 基础、Transformer 架构讲到动手搭建 LLaMA2、预训练与微调，并覆盖 RAG、Agent 与 Agentic RL 等前沿应用。
爱鲜报评分
0.0
0 人评分
34k
星数
是
中文
Jupyter Notebook
主语言
是
活跃
33
贡献者
人工分析
EDITORIAL推荐理由
内容体系完整，从理论到代码逐层递进，适合想真正搞懂大模型原理而非只会调 API 的开发者。配套 Jupyter Notebook 代码、PDF 与 PPT 资源齐全，且完全开源免费。Datawhale 社区活跃，中文文档与答疑友好，是国内学习 LLM 的高性价比入口。
适用场景
- 大模型原理系统学习
- Transformer 与注意力机制入门
- 从零手写并训练小型 LLM
- 预训练与 SFT/LoRA 微调实践
- RAG 与 Agent 应用开发入门
- 高校课程与自学教学参考
优点
- 中文教程，章节结构清晰、循序渐进
- 理论讲解与 Jupyter Notebook 代码结合，可动手复现
- 覆盖预训练、微调、RAG、Agent、Agentic RL 全链路
- 提供 PDF、PPT、预训练模型等配套资源
- Datawhale 社区维护，Issue 答疑与贡献活跃
缺点
- 需要 Python 与深度学习基础，纯新手门槛偏高
- 各章节依赖独立环境，复现时需注意版本冲突
- 训练与微调对 GPU 算力有一定要求
- 部分前沿章节（如 Agentic RL）仍在持续更新中
上手难度
进阶
Happy-LLM 是什么
Happy-LLM 是 Datawhale 推出的开源中文教程，主题是「从零开始构建大模型」。它不是一份 API 调用手册，而是希望带读者真正理解大语言模型的架构原理与训练过程，并亲手实现一个可运行的 LLM。
项目以 Jupyter Notebook 为主要载体，配合在线电子书、PDF 与教学 PPT，形成一套完整的学习路径。
内容结构
教程分为「基础知识」与「实战应用」两大部分：
基础知识（第 1～4 章）
- NLP 基础概念：任务分类与文本表示演进，为非 NLP 背景读者铺垫
- Transformer 架构：注意力机制、Encoder-Decoder，并手把手实现
- 预训练语言模型：对比 Encoder-Only、Encoder-Decoder、Decoder-Only 三类架构
- 大语言模型：LLM 的定义、训练策略与涌现能力
实战应用（第 5～8 章）
- 动手搭建大模型：基于 PyTorch 实现 LLaMA2，训练 Tokenizer 并预训练小型 LLM
- 大模型训练实践：预训练、有监督微调，以及 LoRA / QLoRA 高效微调
- 大模型应用：模型评测、RAG 检索增强、Agent 智能体
- Agentic RL：GRPO、OPD、Search-R1、ReTool 等强化学习实践
此外还有 Extra Chapter 博客专栏，收录社区贡献的学习笔记与实践文章。
学习建议
项目建议读者具备一定的 Python 编程经验，最好了解深度学习与 NLP 基本概念。若计划复现代码，建议先阅读「学习与环境准备」章节：
仓库按章节拆分依赖，不同章节建议使用独立的 Python 环境，以减少版本冲突。
学习时建议理论与代码并重，边读边跑 Notebook，并积极参与 Issue 讨论。
配套资源
- 在线阅读地址与 PDF 版本（Release 中下载）
- 教学讲义 PPT 课件
- 第 5 章训练出的 215M Base / SFT 模型，可在 ModelScope 下载体验
适合谁
大学生、研究人员与 LLM 爱好者，尤其是希望从「会用」进阶到「懂原理、能训练」的开发者。
评论
- 暂无评论，来写第一条吧。