Apache NiFi 安装和使用
0.NIFI架构
1.背景与起源
Apache NiFi最初是由美国国家安全局（NSA）开发并使用了8年的可视化数据集成产品。
2014年，NSA将NiFi贡献给了Apache社区。
2015年，NiFi成为Apache的顶级项目。
2.主要功能与特点
数据处理与分发：NiFi是一个统一的、与数据源无关的大数据集成平台，能够自动化管理系统间的数据流。
可视化编程：基于Web图形界面，用户可以通过拖拽、连接、配置等操作完成基于流程的编程，实现数据采集、处理等功能。
高度可配置：支持高度可配置的指示图，用于指示数据路由、转换和系统中流转关系。
多数据源支持：能够从多种数据源动态拉取数据。
网络安全与自动化：NiFi自动化了网络安全、可观察性、事件流和生成式AI数据管道和分发。
3.快速开始
3.1安装与配置
官网下载zip包：Apache Download Mirrors
解压后配置nifi.properties文件，主要修改host和port
启动nifi
bin/nifi.sh start #启动命令
bin/nifi.sh stop #停止命令登录nifi
登录之后的界面
4.创建第一个demo（mysql-to-file）
示例简述：将mysql中的user表中的数据导出file
4.1创建读取mysql处理器
注：处理器的类别及介绍官网中有详细介绍，在使用前务必看清楚：Documentation for Version 2 - Apache NiFi
配置完之后点击这里，启用连接
4.2 将mysql中读取到的数据转化为json
点击工具栏处的Processor，拖拽到工作区，搜索处理器ConvertAvroToJSON，因为在第一步中，我们通过sql查询到的数据为Avro格式，所以在这里需要转化为json在进行输出
4.3 输出到文件
点击工具栏处的Processor，拖拽到工作区，搜索处理器PutFile
4.4 连接处理器
4.5 启动处理器
选择操作台的启动按键
启动后的处理器
查看mysql的源数据，我们的搜索sql为 select age from user;
查看输出的文件
评论区