Apache NiFi

Apache NiFi 是什么

Apache NiFi 是一个易用、强大且可靠的数据处理与分发系统。它把数据的采集、路由、转换、优先级调度和分发抽象成可视化数据流，让开发者与运维人员无需编写大量胶水代码，就能构建端到端的数据管道。

NiFi 被全球各行业数千家公司用于自动化网络安全、可观测性、事件流以及生成式 AI 数据管道等场景。

核心特性

浏览器用户界面

• 设计、控制、监控一体化的无缝体验
• 支持运行时管理与带版本的流程（配合 NiFi Registry）
• 默认启用 HTTPS，安全开箱即用

可扩展的处理能力

• 可配置优先级，在吞吐量与延迟之间做权衡
• 保证投递，内置重试与退避策略
• 支持集群，实现水平扩展

来源追踪（Provenance）

• 可搜索的历史记录，属性可配置
• 从源到目标的图形化数据血缘
• 记录每一次处理决策的元数据与内容

可扩展设计

• 提供 Processor 与 Controller Service 插件接口
• 支持使用原生 Python 编写 Processor
• 提供 REST API 用于编排与监控

安全配置

• 支持 OpenID Connect 或 SAML 2 单点登录
• 基于角色的灵活授权策略
• 通过 TLS 与 SFTP 加密通信

环境要求

• 平台要求：Java 21
• 可选依赖：Python 3.10 或更高版本

相关子项目

源码仓库包含多个组件项目：

• Apache NiFi：核心数据处理与分发引擎
• Apache NiFi Registry：流程版本管理与共享
• Apache NiFi MiNiFi：面向边缘与轻量环境的采集代理

快速上手

官方提供了完整的文档体系，建议按以下顺序阅读：

• Getting Started：安装与首次运行
• User Guide：界面操作与流程设计
• Administrator Guide：部署、集群与安全配置
• Developer Guide：自定义 Processor 与扩展开发

开发与构建

NiFi 使用 Maven Wrapper 进行项目开发，无需预先安装 Maven。

# 并行构建项目模块
./mvnw install -T1C

# 构建并执行静态分析与许可证合规检查
./mvnw install -T1C -P contrib-check

# 仅构建应用二进制分发包
./mvnw install -T1C -am -pl :nifi-assembly

构建完成后，二进制分发包位于 nifi-assembly/target/ 目录下。

运行

NiFi 提供启停脚本，从分发包目录执行：

./bin/nifi.sh start

在 Windows 上请使用 nifi.cmd 代替 nifi.sh。

社区与支持

• 问题追踪：Apache JIRA 的 NiFi 项目
• 实时交流：Apache NiFi Slack 社区
• 邮件列表：dev@nifi.apache.org 与 users@nifi.apache.org

项目采用 Apache-2.0 许可证，欢迎参与贡献。