DeepSeek-R1

DeepSeek-R1 简介

DeepSeek-R1 是深度求索（DeepSeek）推出的第一代推理模型系列，包含 DeepSeek-R1-Zero 和 DeepSeek-R1。其中 R1-Zero 完全通过大规模强化学习（RL）训练，无需监督微调（SFT）作为前置步骤，便展现出强大的推理能力，如自我验证、反思和生成超长思维链（CoT）。R1 则在 RL 前引入冷启动数据，解决了 R1-Zero 的可读性差、语言混合等问题，性能在数学、代码和推理任务上比肩 OpenAI o1。

项目还开源了基于 Llama 和 Qwen 蒸馏的 6 个密集模型（1.5B 至 70B），其中 DeepSeek-R1-Distill-Qwen-32B 在多个基准上超越 OpenAI o1-mini。

模型版本

• DeepSeek-R1-Zero：671B 总参数，37B 激活参数，128K 上下文，纯 RL 训练。
• DeepSeek-R1：671B 总参数，37B 激活参数，128K 上下文，加入冷启动数据。
• 蒸馏模型：基于 Qwen2.5 和 Llama3 系列，参数规模 1.5B、7B、8B、14B、32B、70B。

技术亮点

• 纯强化学习激发推理：R1-Zero 首次证明无需 SFT，仅通过 RL 即可让大模型涌现推理能力。
• 两阶段 RL + 两阶段 SFT 流程：R1 采用该流程发现更优推理模式并对齐人类偏好。
• 知识蒸馏：将大模型推理模式蒸馏到小模型，效果优于在小模型上直接 RL。

使用建议

• 本地运行 671B 模型需要大量显存/内存资源，建议参考官方 Usage Recommendations。
• 蒸馏模型需使用官方提供的配置和 tokenizer 运行。
• 推理任务建议设置最大生成长度为 32768 tokens，采样温度 0.6，top-p 0.95。

评估表现

在 MMLU、MMLU-Redux、Codeforces、MATH-500 等基准上，DeepSeek-R1 表现与 OpenAI o1-1217 接近或持平，大幅领先 GPT-4o 和 Claude-3.5-Sonnet。

项目采用 MIT 许可证，支持商用与二次开发。