课程大纲

准备机器学习模型进行部署

  • 使用Docker打包模型
  • 从TensorFlow和PyTorch导出模型
  • 版本控制和存储注意事项

在Kubernetes上服务模型

  • 推理服务器概述
  • 部署TensorFlow Serving和TorchServe
  • 设置模型端点

推理优化技术

  • 批处理策略
  • 并发请求处理
  • 延迟和吞吐量调优

自动扩展ML工作负载

  • 水平Pod自动扩展器(HPA)
  • 垂直Pod自动扩展器(VPA)
  • Kubernetes事件驱动自动扩展(KEDA)

GPU配置和资源管理

  • 配置GPU节点
  • NVIDIA设备插件概述
  • ML工作负载的资源请求和限制

模型发布和发布策略

  • 蓝/绿部署
  • 金丝雀发布模式
  • 用于模型评估的A/B测试

生产环境中的ML监控和可观测性

  • 推理工作负载的指标
  • 日志记录和跟踪实践
  • 仪表板和告警

安全性和可靠性考虑

  • 保护模型端点
  • 网络策略和访问控制
  • 确保高可用性

总结与下一步

要求

  • 了解容器化应用的工作流程
  • 有使用Python机器学习模型的经验
  • 熟悉Kubernetes基础知识

受众

  • ML工程师
  • DevOps工程师
  • 平台工程团队
 14 小时

客户评论 (5)

即将举行的公开课程

课程分类