课程大纲

Apache Airflow机器学习入门

  • Apache Airflow概述及其在数据科学中的重要性
  • 自动化机器学习工作流的关键功能
  • 为数据科学项目设置Airflow

使用Airflow构建机器学习管道

  • 设计端到端机器学习工作流的DAGs
  • 使用操作符进行数据摄取、预处理和特征工程
  • 调度和管理管道依赖关系

模型训练与验证

  • 使用Airflow自动化模型训练任务
  • 将Airflow与机器学习框架(如TensorFlow、PyTorch)集成
  • 验证模型并存储评估指标

模型部署与监控

  • 使用自动化管道部署机器学习模型
  • 使用Airflow任务监控已部署的模型
  • 处理重新训练和模型更新

高级定制与集成

  • 开发用于机器学习任务的定制操作符
  • 将Airflow与云平台和机器学习服务集成
  • 使用插件和传感器扩展Airflow工作流

优化与扩展机器学习管道

  • 提高大规模数据的工作流性能
  • 使用Celery和Kubernetes扩展Airflow部署
  • 生产级机器学习工作流的最佳实践

案例研究与实际应用

  • 使用Airflow进行机器学习自动化的实际案例
  • 实践练习:构建端到端机器学习管道
  • 讨论机器学习工作流管理中的挑战与解决方案

总结与下一步

要求

  • 熟悉机器学习工作流和概念
  • 对Apache Airflow的基本了解,包括DAG和操作符
  • 熟练掌握Python编程

受众

  • 数据科学家
  • 机器学习工程师
  • AI开发者
 21 小时

即将举行的公开课程

课程分类