浙大开源《大模型基础》教材，GitHub 16K+ Stars，六章讲透大模型

想系统学大模型的人，这几年最大的痛点不是找不到资料，而是资料太多、太散、太不连贯。

浙江大学团队把这件事做成了一本开源教材：《大模型基础》。六章、完整版 PDF 免费下载，GitHub 上已经拿下 16K+ Stars，读者规模超过十万人。

这篇不吹它有多神，只讲清楚三件事：它讲了什么、它凭什么值得收藏、以及你该从哪一章开始。

01：先说清楚它是什么

《大模型基础》（Foundations of Large Language Models）由浙江大学 DAILY 实验室的毛玉仁研究员、高云君教授领衔撰写，2024 年 8 月开源在 GitHub 上，仓库名 ZJU-LLMs/Foundations-of-LLMs。

它不是一个资料聚合页面，也不是把博文拼起来的合集。它有完整的章节结构、有公式推导、有练习题式的举例，还有一本教材该有的东西——目录、术语、参考文献。第一版一共六章，正文约 283 页，完整版 PDF 和分章节 PDF 都在仓库里直接放出来，不需要注册、不需要关注公众号。

它最大的价值不是「浙大出品」，而是它把一条学习路径写死在了目录里。

这一点值得展开。市面上的大模型中文资料大致分三类：公众号技术文、付费课程、英文教材的中译。第一类覆盖单点、追热点，看完一篇懂一个概念，但接不成体系；第二类质量参差，且多数不更新；第三类严谨，但中文读者理解成本高、术语对不上。

02：六章讲了什么，从哪走到哪

这是全书最值得抄下来的部分——它的章节顺序本身就是一条路线。我把每章的核心内容和适配人群列在下面，你可以直接对照自己现在卡在哪。

第 1 章　语言模型基础

讲什么：统计语言模型 → RNN → Transformer，再往下一节讲采样方法（贪心、束搜索、Top-k、核采样）和语言模型评测。

关键点：很多人用了半年 API，却说不清 temperature 到底在改什么。这一章讲完，你会知道它只是采样策略里的一个旋钮。

⏱ 1–2 天 建议老老实实读完，别跳。

第 2 章　大语言模型架构

讲什么：从「大数据 + 大模型 → 新智能」讲起，再分 Encoder-only、Encoder-Decoder、Decoder-only 三条线讲架构演化，最后一节讲非 Transformer 架构。

关键点：为什么今天主流全是 Decoder-only？这一章给的不是结论，是因果链。

⏱ 2 天 训练/推理从业者的必读章。

第 3 章　Prompt 工程

讲什么：上下文学习、思维链（CoT）、Prompt 技巧，以及相关应用。

关键点：它讲的是 Prompt 的「原理」而非「话术模板」，这在满屏提示词公式的内容里反而少见。

⏱ 半天 产品、运营同学可以只读这章。

第 4 章　参数高效微调

讲什么：参数附加方法、参数选择方法、低秩适配（LoRA），最后落到实践与应用。

关键点：LoRA 几乎是所有工程同学第一个真正要动手的方法，这章把「低秩」这个抽象概念拆开了。

⏱ 2 天 建议边读边跑一次微调，效果翻倍。

第 5 章　模型编辑

讲什么：经典方法、附加参数法（代表工作 T-Patcher）、定位编辑法（代表工作 ROME），以及应用场景。

关键点：「改掉模型里的一句错知识，但不重训」——这章是全书最前沿、也最容易和其他资料拉开差距的一块。

⏱ 2 天 偏研究向，非必需可跳。

第 6 章　检索增强生成（RAG）

讲什么：RAG 整体架构、知识检索、生成增强，最后是实践与应用。

关键点：把 RAG 拆成「检索」和「增强」两段分别讲，而不是笼统说一句「外挂知识库」，这个拆法很实用。

⏱ 1–2 天 想搭知识库应用的人，这章优先级最高。

给你一条最短路径：想能干活，读 1 → 3 → 4 → 6；想搞懂原理，按 1 → 2 → 4 → 5 走；只想听懂行话，第 1 章加第 3 章，一晚上够了。

03：每章换一种动物，这个设计不只是可爱

这本书有个挺少见的体例：为了增加易读性，每一章分别以一种动物为背景，对具体技术进行举例说明。所以它的封面是六种动物，一章一位。

听起来像个包装，实际上解决了一个很实在的问题：大模型的概念高度抽象。你在讲采样温度、讲注意力的权重分配、讲 LoRA 为什么能用低秩矩阵近似更新量——这些东西没有具体对象挂着，读者读完只剩一堆符号。

而一旦每章都有一个固定的「主角」，同一个例子在各小节里反复出现，你会自动建立一条记忆线索：这个动物在干嘛、它遇到了什么问题、用了什么方法解决。等你在别处再看到这个概念，第一反应是「哦，就是那个场景」，而不是回头翻公式。

好的教材不是把知识讲简单，而是给抽象知识找一个能落脚的把手。

别被可爱外壳骗了

动物只是举例的载体，该有的公式、推导和论文引用一个没少。这本书的定位是「严谨、有深度」的教材，不是漫画科普。第 2、5 章的数学密度不低，读之前先有个心理准备。

04：真正拉开差距的，是论文清单和更新节奏

如果只是六章内容，这本书的价值大概能在半年内被稀释掉。但它做了两件让内容「自己会往前跑」的事。

第一，每章都配了对口的论文清单（Paper List），单独放在仓库的论文文件夹里，并且持续更新。这意味着你读完某一章，不用自己去找「接下来该看哪几篇」，顺着清单往下读就行。

第二，配套还有一份「Arxiv 一周进展报告（大模型方向）」，按周整理前沿动态。教材负责打地基，周报负责看风向，两者配合起来才算闭环。

教材一定会过期，但一本带论文清单、还按月更新的教材，过期得比别人慢。

作者团队在 README 里写明会持续进行月度更新，同时欢迎读者通过 issue 提勘误和建议，优质反馈会被列进致谢。所以这是本「可以被改的书」——你读到的错误，有机会变成下一版的正确。

更值得关注的是它的规划：后续还会补充大模型推理加速和大模型智能体（AI Agent）两个方向。作者自己说，希望「封面上的动物越来越多」。这两块恰好也是当下工程落地最热的两个话题——推理加速决定你能不能把模型跑便宜，Agent 决定你能不能把模型跑成产品。

05：谁适合读，谁可以先跳过

这类「神书推荐」最常见的问题，是不说前提条件。这本书的定位很明确，我按三类人说清楚。

建议完整读：有编程基础、想补体系的人

写过 Python、调过 API、用过现成框架，但知识点是碎的。你的问题不是缺材料，是缺一条能串起来的线——这本书正好是这个。

可以加速读：已经跑过 demo 的工程师

第 1–3 章快速翻过，重点看第 4 章和第 6 章。前者帮你把微调从「照着脚本改参数」变成「知道在改什么」，后者直接对着你的知识库需求。

先别急：零基础、没写过代码的人

它是教材，不是科普读物。没有编程和基础数学的话，第 1 章的 Transformer 部分就会卡住。更有效的顺序是先补编程，再看这本书。

判断标准就一条：如果你现在的困惑是「不知道该学什么」，这本书给路线；如果是「连代码都还没写过」，这本书给不了答案。

06：怎么开始，三步就够

第一步，取书。打开 GitHub 仓库 ZJU-LLMs/Foundations-of-LLMs，完整版 PDF 在「《大模型基础》教材」目录下，同一目录里还有分章节 PDF，方便你只下需要的那几章。

第二步，挑章。先看目录，找到你现在最卡的那个点，从那一章读起，不要从第一章硬啃。

第三步，顺藤摸瓜。每章读完，去论文清单里挑 2–3 篇标题最吸引你的，只看摘要和结论，建立「这个概念从哪来」的感觉。

如果你更喜欢跟着视频走，作者团队还有配套的公开课《大语言模型原理与技术》，2025 年 1 月在 B 站上线，可以和书对着看。据浙大官网对作者团队的介绍，这门课的累计观看量已达 50 万余次。

一个容易走反的顺序

很多人下载完，从第 1 章第 1 节开始逐字读，读到 RNN 就停了。教材的正确用法是当手册：先解决你手上那个问题，通了再回头看基础。读完不等于学会，跑过才算。

最后说句实话：这本书不会让你一夜之间变成大模型专家。它的价值在于，把「系统学」这件原本要靠自己拼图的事，变成了一件有目录可循的事。对大多数人来说，这就已经是很大的帮助了。

想清楚自己卡在哪一章，比收藏十个仓库有用。

作者：小木offer

微信小程序：小木offer