课程大纲
准备机器学习模型进行部署
- 使用Docker打包模型
- 从TensorFlow和PyTorch导出模型
- 版本控制和存储注意事项
在Kubernetes上服务模型
- 推理服务器概述
- 部署TensorFlow Serving和TorchServe
- 设置模型端点
推理优化技术
- 批处理策略
- 并发请求处理
- 延迟和吞吐量调优
自动扩展ML工作负载
- 水平Pod自动扩展器(HPA)
- 垂直Pod自动扩展器(VPA)
- Kubernetes事件驱动自动扩展(KEDA)
GPU配置和资源管理
- 配置GPU节点
- NVIDIA设备插件概述
- ML工作负载的资源请求和限制
模型发布和发布策略
- 蓝/绿部署
- 金丝雀发布模式
- 用于模型评估的A/B测试
生产环境中的ML监控和可观测性
- 推理工作负载的指标
- 日志记录和跟踪实践
- 仪表板和告警
安全性和可靠性考虑
- 保护模型端点
- 网络策略和访问控制
- 确保高可用性
总结与下一步
要求
- 了解容器化应用的工作流程
- 有使用Python机器学习模型的经验
- 熟悉Kubernetes基础知识
受众
- ML工程师
- DevOps工程师
- 平台工程团队
客户评论 (5)
他很有耐心,明白我们落后了
Albertina - REGNOLOGY ROMANIA S.R.L.
课程 - Deploying Kubernetes Applications with Helm
机器翻译
How Interactive Reda would explain the information and get us to participate. He would also mention interesting facts along the way and share all the knowledge he has. Reda has excellent communication skills which makes online training really effective.
Janine - BMW SA
课程 - Kubernetes Advanced
The training was more practical
Siphokazi Biyana - Vodacom SA
课程 - Kubernetes on AWS
Learning about Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
课程 - Kubernetes on Azure (AKS)
It gave a good grounding for Docker and Kubernetes.