nanochat
nanochat 是极简 LLM 训练实验框架，单 GPU 节点即可完成分词、预训练、微调、评估与推理全流程，用约 100 美元训练出 GPT-2 能力模型。
爱鲜报评分
0.0
0 人评分
59k
星数
否
中文
Python
主语言
是
活跃
57
贡献者
人工分析
EDITORIAL推荐理由
Karpathy 出品的极简 LLM 训练框架，代码可读性极高，适合学习大模型全流程。仅需一个 --depth 参数即可自动配置所有超参，大幅降低实验门槛。社区活跃，有 GPT-2 速通排行榜，适合研究者与爱好者复现与改进。
适用场景
- 学习 LLM 训练全流程
- 低成本复现 GPT-2 能力模型
- 单 GPU 节点上的 LLM 实验
- 研究预训练与缩放定律
- 教学与代码阅读
优点
- 代码极简且可修改，适合学习
- 单参数控制模型规模，自动配置超参
- 覆盖分词、预训练、微调、评估、推理全流程
- 成本低，约 48 美元即可训练 GPT-2 级别模型
- 有活跃社区和速通排行榜
缺点
- 需要 GPU 资源，显存不足需调参
- 主要面向实验而非生产部署
- 部分代码路径未全面测试（如 xpu、mps）
- 文档以英文为主
上手难度
进阶
nanochat 简介
nanochat 是 Andrej Karpathy 开源的极简 LLM 训练实验框架，目标是让开发者用最低成本在单 GPU 节点上完成大语言模型的全流程训练。官方描述为「100 美元能买到的最好的 ChatGPT」。
核心特点
- 全流程覆盖：包含分词、预训练、微调、评估和推理。
- 极简可改：代码量小，结构清晰，适合阅读和魔改。
- 单参数控制规模：只需设置
--depth（Transformer 层数），其他超参数（宽度、头数、学习率等）自动按最优方式计算。 - 低成本：在 8×H100 节点上约 2 小时、花费约 48 美元即可训练出 GPT-2 能力级别的模型；使用竞价实例可低至约 15 美元。
快速开始
项目使用 uv 管理依赖：
uv sync --extra gpu # CUDA 环境
uv sync --extra cpu # CPU / MPS 环境
source .venv/bin/activate
复现并对话 GPT-2 级别模型：
bash runs/speedrun.sh
python -m scripts.chat_cli
适用人群
- 想学习 LLM 训练全流程的开发者
- 需要低成本实验环境的研究者
- 对大模型原理感兴趣的学生和爱好者
注意事项
- 需要 GPU 资源，显存不足时需调整
--device-batch-size等参数。 - 项目定位为实验框架，不建议直接用于生产部署。
- 文档和社区讨论以英文为主。
评论
- 暂无评论，来写第一条吧。