联系我们
 课程时长 14 小时

课程大纲

为部署准备机器学习模型

  • 使用Docker打包模型
  • 从TensorFlow和PyTorch导出模型
  • 版本控制和存储考量

在Kubernetes上提供模型服务

  • 推理服务器概述
  • 部署TensorFlow Serving和TorchServe
  • 设置模型端点

推理优化技术

  • 批处理策略
  • 并发请求处理
  • 延迟和吞吐量调优

自动扩缩容机器学习工作负载

  • 水平Pod自动扩缩容 (HPA)
  • 垂直Pod自动扩缩容 (VPA)
  • Kubernetes事件驱动自动扩缩容 (KEDA)

GPU配置和资源管理

  • 配置GPU节点
  • NVIDIA设备插件概述
  • 机器学习工作负载的资源请求和限制

模型发布和发布策略

  • 蓝绿部署
  • 金丝雀发布模式
  • 用于模型评估的A/B测试

生产环境中机器学习的监控和可观测性

  • 推理工作负载的指标
  • 日志记录和追踪实践
  • 仪表板和告警

安全性和可靠性考量

  • 保护模型端点
  • 网络策略和访问控制
  • 确保高可用性

总结和后续步骤

要求

  • 了解容器化应用程序工作流程
  • 具备基于Python的机器学习模型经验
  • 熟悉Kubernetes基础概念

目标受众

  • 机器学习工程师
  • DevOps工程师
  • 平台工程团队

客户评论 (4)

即将举行的公开课程

课程分类