nndeploy AI 部署框架

nndeploy 是什么

nndeploy 是一款简单易用和高性能的 AI 部署框架，主要解决 AI 算法在端侧落地的问题。它覆盖桌面端（Windows、macOS）、移动端（Android、iOS）、边缘计算设备（NVIDIA Jetson、Ascend310B、RK 等）以及单机服务器（RTX 系列、T4、Ascend310P 等），基于可视化工作流 + 多端推理，让 AI 算法在这些平台上更高效地运行。

对于 10B 以上的大模型（如大语言模型和 AIGC 生成模型），nndeploy 也适合作为一款可视化工作流工具使用。

核心特性

简单易用

• 可视化工作流：拖拽节点即可部署 AI 算法，参数实时可调，效果一目了然。
• 自定义节点：支持 Python/C++ 自定义节点，无论是用 Python 做预处理，还是用 C++/CUDA 编写高性能节点，都能无缝集成到可视化工作流中。
• 一键部署：工作流可导出为 JSON，通过 C++/Python API 调用，适用于 Linux、Windows、macOS、Android 等平台。

高性能

• 并行优化：支持串行、流水线并行、任务并行等执行模式。
• 内存优化：零拷贝、内存池、内存复用等策略。
• 高性能优化：内置 C++/CUDA/Ascend C/SIMD 等优化实现的节点。
• 多端推理：一套工作流适配多端推理，深度集成 13 种主流推理框架，可按需编译减少依赖，也支持接入自定义推理框架的独立运行模式。

已集成的推理框架包括：ONNXRuntime、TensorRT、OpenVINO、MNN、TNN、ncnn、CoreML、AscendCL、RKNN、SNPE、TVM、PyTorch，以及 nndeploy 内部推理子模块。

开箱即用的算法

项目已部署多类 AI 模型，并开发了 100+ 可视化节点，随着节点数量增加，节点库复用性不断提升，可显著降低后续算法部署的开发成本。

快速开始

安装

pip install --upgrade nndeploy

启动可视化界面

# 方式一：命令行
nndeploy-app --port 8000
# 方式二：代码启动
cd path/to/nndeploy
python app.py --port 8000

启动成功后，打开 http://localhost:8000 即可访问工作流编辑器，拖拽节点、调整参数、实时预览效果。

保存并加载运行

在可视化界面中搭建、调试完成后点击保存，工作流会导出为 JSON 文件，其中封装了所有处理流程。生产环境可用以下方式运行：

# Python CLI
nndeploy-run-json --json_file path/to/workflow.json
# C++ CLI
nndeploy_demo_run_json --json_file path/to/workflow.json

也可以将 JSON 文件集成到现有的 Python 或 C++ 项目中，通过 API 加载并运行工作流。

适用与注意

nndeploy 适合需要把 AI 模型真正部署到端侧、边缘设备或服务器的开发者，尤其是希望用统一工作流适配多种推理引擎与硬件平台的场景。需要注意的是，项目以 C++ 为主，涉及编译与依赖管理，不同推理框架和硬件平台的适配需要分别验证；大模型与 AIGC 场景对显存和算力要求较高。