LLMs-from-scratch 从零构建大语言模型
《Build a Large Language Model (From Scratch)》官方配套代码仓库，用 PyTorch 从零实现一个类 ChatGPT 的 GPT 模型，覆盖分词、注意力机制、预训练、分类微调与指令微调全流程。
爱鲜报评分
0 人评分
107k
星数
否
中文
Jupyter Notebook
主语言
是
活跃
72
贡献者
人工分析
EDITORIAL推荐理由
这是目前最系统、最受欢迎的 LLM 入门实践教程之一，10 万+ Star 说明其质量与社区认可度。代码按章节组织为 Jupyter Notebook，配合书籍讲解，每一步都能亲手跑通。适合想真正搞懂 Transformer 内部原理、而非只会调 API 的开发者。
适用场景
- LLM 原理学习与教学
- PyTorch 深度学习实战
- Transformer/注意力机制实现练习
- 指令微调与文本分类实验
- 课程设计与读书会配套代码
优点
- 章节化 Notebook，循序渐进、可逐段运行
- 从分词到预训练再到微调，覆盖完整链路
- 配套书籍讲解，图文并茂易理解
- 社区活跃、Star 数极高，问题易检索
- 附带 LoRA 等参数高效微调附录内容
缺点
- 需要一定 PyTorch 与深度学习基础
- 完整预训练对算力有要求，本地跑大模型受限
- 以英文书籍为主线，中文资料需自行查找
- Notebook 形式不利于直接工程化部署
项目简介
LLMs-from-scratch 是《Build a Large Language Model (From Scratch)》一书的官方代码仓库。它带你用 PyTorch 从零实现一个类 ChatGPT 的 GPT 模型，并逐步完成预训练与微调，理解大语言模型「从内到外」的工作原理。
内容结构
代码按书籍章节组织，每章一个目录，核心实现以 Jupyter Notebook 呈现：
- 第 2 章：文本数据处理与分词器
- 第 3 章：注意力机制（含多头注意力）
- 第 4 章：从零实现 GPT 模型结构
- 第 5 章：在无标注数据上预训练
- 第 6 章：面向文本分类的微调
- 第 7 章：指令微调，让模型遵循指令
- 附录：PyTorch 入门、训练循环增强、LoRA 参数高效微调等
每个章节目录通常包含主章节 Notebook、精简版脚本（如 gpt.py）以及习题解答。
使用方式
仓库提供环境配置说明（setup 目录），建议先阅读其中的 README 完成 Python 与依赖安装，再按章节顺序打开 Notebook 逐段运行。
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
适合谁
适合已了解 Python 与 PyTorch 基础、希望深入理解 Transformer 与 LLM 训练流程的开发者、学生与教师。若只想调用现成模型 API，则不必从此仓库入手。
注意事项
完整预训练对算力有要求，学习时可按书中建议使用较小配置；Notebook 侧重教学，工程化落地需自行重构。
评论
- 暂无评论，来写第一条吧。