A外部应用AirLLM|低显存逐层加载大模型推理工具一个通过逐层加载降低大语言模型推理显存占用的 Python 库,让显存有限的电脑也能尝试运行大参数模型,适合个人开发者做本地推理实验。LLM 推理与部署Python 库,依赖 Python 运行环境使用难度需要部署 站长实测状态尚未登记 查看工具 →
D外部应用DeepInfer|DeepSeek生产级大模型推理框架DeepSeek开源的大模型推理引擎,面向需要高吞吐、低延迟部署DeepSeek-V4.1-Flash的开发者与运维团队,集成多种自研算子与推测解码能力。LLM 推理与部署服务器端推理环境使用难度技术开发 站长实测状态尚未登记 查看工具 →