课程大纲

生产部署简介

  • 部署微调模型的主要挑战
  • 开发环境和生产环境之间的差异
  • 用于模型部署的工具和平台

准备用于部署的模型

  • 以标准格式(ONNX、TensorFlow SavedModel 等)导出模型
  • 优化模型的延迟和输送量
  • 在边缘案例和真实数据上测试模型

用于模型部署的容器化

  • Docker 简介
  • 为 ML 模型建立 Docker 个图像
  • 容器安全性和效率的最佳实践

使用 Kubernetes 扩展 Deployment

  • 适用于 AI 工作负载的 Kubernetes 简介
  • 为模型托管设置 Kubernetes 集群
  • 负载均衡和水平扩展

模型监控与维护

  • 使用 Prometheus 和 Grafana 实现监控
  • 用于错误跟踪和性能的自动记录
  • 针对模型漂移和更新的重新训练管道

确保生产安全

  • 保护用于模型推理的 API
  • 身份验证和授权机制
  • 解决数据隐私问题

案例研究和动手实验

  • 部署情感分析模型
  • 扩展机器翻译服务
  • 实现对图像分类模型的监视

总结和后续步骤

要求

  • 对机器学习工作流程有深入的理解
  • 微调 ML 模型的经验
  • 熟悉 DevOps 或 MLOps 原则

观众

  • DevOps 名工程师
  • MLOps 从业者
  • AI 部署专家
 21 小时

客户评论 (1)

即将举行的公开课程

课程分类