DeepInfer｜DeepSeek生产级大模型推理框架

用途说明

DeepInfer 是 DeepSeek 开源的推理框架，据原始资料称为驱动其线上大规模服务的底层引擎，面向希望自托管运行 DeepSeek 大模型的开发者与推理运维团队。

已知能力

• 集成 FlashMLA、DeepGEMM、DeepEP、TileLang 等自研算子；
• 具备 DSpark 推测解码、SWA 有界重放、异步调度；
• 支持批次不变与确定性采样、结构化输出；
• 声明支持 NVIDIA SM100（Blackwell）与华为昇腾 950。

适用人群

有一定 GPU/NPU 环境与模型部署经验、需要为 DeepSeek 系列模型搭建推理服务的团队，而非零基础用户。

使用步骤

1. 按官方仓库说明准备硬件与驱动环境；
2. 获取 DeepSeek-V4.1-Flash 模型权重；
3. 按文档安装依赖并完成推理配置；
4. 针对吞吐或延迟目标调整调度与采样参数。

具体安装命令与配置项需查阅项目官方文档，本文不提供。

限制与注意事项

• 早期版本仅支持离线推理，完整 KV cache 与 Prefill/Decode 分离尚未打包；
• 仅支持 DeepSeek-V4.1-Flash 一个模型；
• 硬件适配（SM100、昇腾 950）的具体可用性与性能待核验；

费用与许可

原始资料称项目采用 Apache-2.0 许可、可免费自托管，实际许可条款请以仓库为准；国内下载与部署可行性、昇腾环境适配情况待核验。

来源与使用边界

原始入口：https://github.com/deepseek-ai/DeepInfer

整理来源：https://github.com/ikaijua/Awesome-AITools

依据来源资料经AI翻译整理，未由本站实测。原始资料许可：CC-BY-4.0；目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。