课程大纲
NiFi与数据流基础
- 动态数据与静态数据:概念与挑战
- NiFi架构:核心、流控制器、数据溯源与公告
- 关键组件:处理器、连接、控制器与数据溯源
大数据背景与集成
- NiFi在大数据生态系统中的角色(Hadoop、Kafka、云存储)
- HDFS、MapReduce及现代替代方案的概述
- 使用案例:流数据摄取、日志传输、事件管道
安装、配置与集群设置
- 在单节点和集群模式下安装NiFi
- 集群配置:节点角色、Zookeeper与负载均衡
- 使用Ansible、Docker或Helm编排NiFi部署
设计与管理数据流
- 路由、过滤、拆分、合并数据流
- 处理器配置(InvokeHTTP、QueryRecord、PutDatabaseRecord等)
- 处理模式、数据丰富与转换操作
- 错误处理、重试关系与背压
集成场景
- 连接数据库、消息系统、REST API
- 流数据到分析系统:Kafka、Elasticsearch或云存储
- 与Splunk、Prometheus或日志管道集成
监控、恢复与数据溯源
- 使用NiFi UI、指标与数据溯源可视化工具
- 设计自动恢复与优雅的故障处理
- 备份、流版本控制与应变管理
性能调优与优化
- 调优JVM、堆、线程池与集群参数
- 优化流设计以减少瓶颈
- 资源隔离、流优先级与吞吐量控制
最佳实践与治理
- 流文档、命名标准、模块化设计
- 安全性:TLS、身份验证、访问控制、数据加密
- 变更控制、版本控制、基于角色的访问、审计跟踪
故障排除与事件响应
- 常见问题:死锁、内存泄漏、处理器错误
- 日志分析、错误诊断与根本原因调查
- 恢复策略与流回滚
实践实验室:真实数据管道实现
- 构建端到端流:摄取、转换、交付
- 实现错误处理、背压与扩展
- 性能测试与管道调优
总结与下一步
要求
- 具备Linux命令行经验
- 对网络和数据系统有基本了解
- 接触过数据流或ETL概念
受众
- 系统管理员
- 数据工程师
- 开发者
- DevOps专业人员
客户评论 (7)
动手练习。课程本来应该是5天,但这3天说明我解决了使用NiFi时遇到的很多问题
James - BHG Financial
课程 - Apache NiFi for Administrators
机器翻译
我认为教练的速度很好。 他的方法没有让任何学生掉队。 他非常支持我们这些新手,这些新手在我们的职业生涯中可能没有担任过系统管理员或基础设施角色,或者从我们职业生涯的前一个阶段恢复了这些技能。
Pamdrea Ivory - BHG Financial
课程 - Apache NiFi for Administrators
机器翻译
我喜欢动手部分。它通过完成提供的练习说明我更好地保留资讯。 此外,培训师与整个班级互动的能力使我能够轻松地就我不确定的事情提出问题。
Leila - BHG Financial
课程 - Apache NiFi for Administrators
机器翻译
用例,构建 NiFi 数据流的范例。我们致力于解决常见问题和问题。
Nelson - BHG Financial
课程 - Apache NiFi for Administrators
机器翻译
我喜欢这个结构。 我们在第1天深入研究了Nifi的基础知识、概念、用例等。 在第 2 天,我们通过构建流程来满足场景要求,从而将第 1 天的知识付诸实践。 第3天,我们看到了Nifi注册表和版本控制、多租户,并进行了问答。
Adam - BHG Financial
课程 - Apache NiFi for Administrators
机器翻译
I like how he was able to elaborate about Nifi and how powerful it is. You can basically use it for any infrastructure and use many different computer languages. Also i was glad we were able to fix the Nifi cert renewal issue we were having with the Truststore.
Joachim Martin - BHG Financial
课程 - Apache NiFi for Administrators
general knowledge and the possibilities that the training offered in terms on the tool.