DeepSeek-V3
DeepSeek-V3 是深度求索推出的 671B 参数 MoE 大语言模型，每 token 激活 37B，采用 MLA 与 DeepSeekMoE 架构，支持 128K 上下文，开源权重并提供完整技术报告。
爱鲜报评分
0.0
0 人评分
105k
星数
是
中文
Python
主语言
是
活跃
26
贡献者
人工分析
EDITORIAL推荐理由
国产开源大模型的标杆之作，以极低训练成本达到接近顶级闭源模型的性能，工程细节（FP8 训练、无辅助损失负载均衡、MTP）极具参考价值。适合研究 MoE 架构、推理部署与后训练蒸馏的开发者深入学习。
适用场景
- 大模型本地/私有化部署
- MoE 架构与训练技术研究
- 长上下文（128K）文本理解与生成
- 推理能力蒸馏与后训练实验
- 基于 API 的 AI 应用开发
优点
- 671B 总参数仅激活 37B，推理成本相对可控
- 训练成本低（约 2.788M H800 GPU 小时），流程稳定
- FP8 混合精度训练与无辅助损失负载均衡等工程创新
- 开源权重与论文齐全，社区生态活跃
- 中文能力优秀，对中文用户友好
缺点
- 完整权重约 685B，本地部署显存门槛极高
- 需多卡/多机环境，个人开发者难以直接运行
- MTP 模块支持在社区仍在开发中
- 模型许可为 Model Agreement，商用需阅读条款
上手难度
较难
DeepSeek-V3 简介
DeepSeek-V3 是深度求索（DeepSeek）发布的开源混合专家（MoE）大语言模型，总参数 671B，每个 token 激活 37B，支持 128K 上下文长度。模型权重已在 Hugging Face 开放，并附带完整技术报告。
核心架构
- MLA（多头潜在注意力）：在 DeepSeek-V2 中验证的高效注意力结构，降低推理显存与计算开销。
- DeepSeekMoE：细粒度专家路由，兼顾模型容量与推理效率。
- 无辅助损失负载均衡：避免传统辅助损失带来的性能损失。
- 多 token 预测（MTP）：额外训练目标，可兼作推测解码加速推理。
训练亮点
- 在 14.8T 高质量 token 上预训练，首次在超大规模模型上验证 FP8 混合精度训练的可行性。
- 通过算法、框架与硬件协同设计，实现计算与通信近乎完全重叠。
- 后训练阶段从 DeepSeek-R1 系列长思维链模型中蒸馏推理能力，提升推理表现。
模型版本
| 模型 | 总参数 | 激活参数 | 上下文 |
|---|---|---|---|
| DeepSeek-V3-Base | 671B | 37B | 128K |
| DeepSeek-V3 | 671B | 37B | 128K |
Hugging Face 上权重总大小约 685B，包含 671B 主模型与 14B MTP 模块。
使用方式
官方推荐通过 Hugging Face 下载权重，并参考仓库中的本地运行章节，结合开源社区与硬件厂商提供的推理方案进行部署。也可直接使用官方 Chat 网站或 API 平台体验。
# 示意：从 Hugging Face 拉取权重（具体命令以官方文档为准）
huggingface-cli download deepseek-ai/DeepSeek-V3
适用与门槛
模型性能在多项基准上超过同期开源模型，接近领先闭源模型，但完整部署需要多卡多机环境，个人开发者更适合通过 API 或量化版本使用。
评论
- 暂无评论，来写第一条吧。