MiniMind 迷你大脑
从零训练 64M 参数超小语言模型的开源项目，2 小时、约 3 元成本即可在单张 3090 上完成全流程复现，覆盖预训练、SFT、LoRA、RLHF、RLAIF 与 Agentic RL。
爱鲜报评分
0.0
0 人评分
63k
星数
是
中文
Python
主语言
是
活跃
21
贡献者
人工分析
EDITORIAL推荐理由
这是目前少见的把 LLM 全链路算法用 PyTorch 原生从 0 实现的教学级项目，不依赖 transformers/trl/peft 的高层封装，适合想真正看懂大模型内部机制的开发者。64M 的体量让个人显卡也能跑通预训练到强化学习全流程，配套中文文档与视频讲解，学习曲线友好。
适用场景
- LLM 原理学习与源码级研究
- 个人 GPU 上从零复现大模型训练
- 高校教学与课程实验
- LoRA/SFT/DPO/GRPO 等算法实践
- 小模型私有数据微调与部署验证
优点
- 全流程算法从 0 用 PyTorch 原生实现，无高层框架黑盒
- 模型仅 64M，单卡 3090 约 2 小时即可完成 SFT 复现
- 覆盖 Pretrain、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、蒸馏等完整链路
- 中文文档详尽，配套 B 站视频与在线体验 Demo
- 兼容 transformers、llama.cpp、vllm、ollama 等主流生态
缺点
- 模型规模极小，实际生成能力与商用大模型差距明显
- 训练流程涉及强化学习与分布式，部分环节需一定深度学习基础
- 版本迭代较快，旧模型与旧代码存在兼容性断裂风险
- 完整复现仍需可用的 NVIDIA GPU 与 CUDA 环境
上手难度
进阶
MiniMind 迷你大脑是什么
MiniMind 是一个「从 0 开始训练大语言模型」的开源项目。它用约 3 元 GPU 租用成本、2 小时训练时间，就能在单张 NVIDIA 3090 上训练出参数量约 64M 的超小语言模型。主线最小版本体积约为 GPT-3 的 1/2700，目标是让普通个人显卡也能完整跑通大模型训练与复现。
项目不只是「能跑」，更强调「能懂」：所有核心算法均使用 PyTorch 原生实现，不依赖 transformers / trl / peft 等高层抽象接口，因此每一行训练代码都可以被阅读和修改。
核心特性
- 完整训练链路：覆盖 Pretrain、SFT、LoRA、RLHF（DPO）、RLAIF（PPO / GRPO / CISPO）、Tool Use、Agentic RL、自适应思考与模型蒸馏。
- 极简模型结构：提供 Dense 与 MoE 两种结构，主线对齐 Qwen3 / Qwen3-MoE 生态。
- 自带分词器：Tokenizer 基于 BPE + ByteLevel 训练，支持
<tool_call>、<think>等模板标记。 - 全阶段开源数据：数据经过收集、蒸馏、清洗与去重，开箱即用。
- 生态兼容：可对接
llama.cpp、vllm、ollama等推理引擎，以及Llama-Factory等训练框架。 - 服务与界面：提供兼容 OpenAI API 协议的极简服务端，以及基于 Streamlit 的聊天 WebUI。
已发布模型
| 模型 | 参数量 | 发布时间 |
|---|---|---|
| minimind-3 | 64M | 2026.04.01 |
| minimind-3-moe | 198M-A64M | 2026.04.01 |
| minimind2 | 104M | 2025.04.26 |
| minimind2-small | 26M | 2025.04.26 |
| minimind-v1 | 108M | 2024.09.01 |
训练流程概览
数据准备 → Tokenizer 训练 → Pretrain → SFT → LoRA 微调
→ RLHF(DPO) → RLAIF(PPO/GRPO/CISPO) → Tool Use / Agentic RL
适合谁
- 想真正理解 LLM 内部机制、不愿停留在「调 API」层面的开发者；
- 需要在小规模数据上验证训练算法的高校与科研人员；
- 希望用个人显卡完整跑通一次大模型训练流程的爱好者。
注意事项
- 项目迭代较快，跨版本模型与代码可能存在不兼容，升级前建议先看更新日志。
- 64M 模型的能力有限，更适合作为学习与实验载体，而非生产级对话模型。
- 完整复现需要可用的 NVIDIA GPU 与 CUDA 环境。
评论
- 暂无评论，来写第一条吧。