课程大纲
Apache Airflow简介
- 什么是工作流编排
- Apache Airflow的主要特性和优势
- Airflow 2.x的改进和生态系统概述
架构和核心概念
- 调度器、Web服务器和工作进程
- DAG、任务和运算符
- 执行器和后端（本地、Celery、Kubernetes）
安装和设置
- 在本地和云环境中安装Airflow
- 使用不同执行器配置Airflow
- 设置元数据库和连接
浏览Airflow UI和CLI
- 探索Airflow Web界面
- 监控DAG运行、任务和日志
- 使用Airflow CLI进行管理
编写和管理DAG
- 使用TaskFlow API创建DAG
- 使用运算符、传感器和钩子
- 管理依赖关系和调度间隔
将Airflow与数据和云服务集成
- 连接到数据库、API和消息队列
- 使用Airflow运行ETL管道
- 云集成：AWS、GCP、Azure运算符
监控和可观测性
- 任务日志和实时监控
- 使用Prometheus和Grafana的指标
- 通过电子邮件或Slack进行告警和通知
保护Apache Airflow
- 基于角色的访问控制（RBAC）
- 使用LDAP、OAuth和SSO进行身份验证
- 使用Vault和云密钥存储管理机密
扩展Apache Airflow
- 并行性、并发性和任务队列
- 使用CeleryExecutor和KubernetesExecutor
- 使用Helm在Kubernetes上部署Airflow
生产环境最佳实践
- DAG的版本控制和CI/CD
- 测试和调试DAG
- 在大规模下保持可靠性和性能
故障排除和优化
- 调试失败的DAG和任务
- 优化DAG性能
- 常见陷阱及如何避免
总结和后续步骤
要求
- 具备Python编程经验
- 熟悉数据工程或DevOps概念
- 了解ETL或工作流编排
目标学员
- 数据科学家
- 数据工程师
- DevOps和基础设施工程师
- 软件开发人员
客户评论 (7)
讲师根据学员的水平调整了培训内容，并回答了所有问题。他非常善于沟通，与他互动非常轻松。我非常欣赏培训的形式，其中包含了许多实践练习。总的来说，这是一次非常引人入胜且组织有序的课程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
课程 - Apache Airflow: Building and Managing Data Pipelines
机器翻译
培训非常到位，理论和练习都非常实用。
Vladimir - PUBLIC COURSE
课程 - Apache Airflow
机器翻译
培训在各个方面都非常到位，理论知识和练习都非常实用。
Vladimir - PUBLIC COURSE
课程 - Apache Airflow
机器翻译
培训在各个方面都非常到位，理论内容和练习都非常实用。
Vladimir - PUBLIC COURSE
课程 - Apache Airflow
机器翻译
培训在各个方面都非常到位，理论内容和练习都非常实用。
Vladimir - PUBLIC COURSE
课程 - Apache Airflow
机器翻译
培训在各个方面都非常到位，理论内容和练习都非常实用。
Vladimir - PUBLIC COURSE
课程 - Apache Airflow
机器翻译
培训在各个方面都非常精准。理论内容和练习都非常实用。
Vladimir - PUBLIC COURSE
课程 - Apache Airflow
机器翻译
