D
外部应用DeepInfer|DeepSeek生产级大模型推理框架
DeepSeek开源的大模型推理引擎,面向需要高吞吐、低延迟部署DeepSeek-V4.1-Flash的开发者与运维团队,集成多种自研算子与推测解码能力。
LLM 推理与部署服务器端推理环境使用难度
站长实测状态尚未登记
汇集算子优化主题下已发布的工具、教程、提示词与场景资料,帮助你了解用途、使用条件及操作方法。
DeepSeek开源的大模型推理引擎,面向需要高吞吐、低延迟部署DeepSeek-V4.1-Flash的开发者与运维团队,集成多种自研算子与推测解码能力。
LLM 推理与部署服务器端推理环境一个开源的CUDA编程与算子优化学习仓库,收录从基础到FlashAttention-2等高级主题的200多个Kernel实现,并附带PyTorch绑定,适合想系统学习GPU加速与算子优化的开发者。
GPU 编程需NVIDIA GPU与CUDA工具链的本地或服务器环境