课程大纲

Docker与AI推理简介

  • 了解AI推理工作负载
  • 容器化推理的优势
  • 部署场景与限制

构建AI推理容器

  • 选择基础镜像和框架
  • 打包预训练模型
  • 为容器执行结构化推理代码

保护容器化的AI服务

  • 最小化容器攻击面
  • 管理密钥和敏感文件
  • 安全的网络和API暴露策略

便携部署技术

  • 优化镜像以实现便携性
  • 确保可预测的运行时环境
  • 跨平台管理依赖项

本地部署与测试

  • 使用Docker在本地运行服务
  • 调试推理容器
  • 测试性能和可靠性

在服务器和云虚拟机上部署

  • 为远程环境适配容器
  • 配置安全的服务器访问
  • 在云虚拟机上部署推理API

使用Docker Compose构建多服务AI系统

  • 编排推理与支持组件
  • 管理环境变量和配置
  • 使用Compose扩展微服务

AI推理服务的监控与维护

  • 日志记录与可观测性方法
  • 检测推理管道中的故障
  • 在生产环境中更新和版本化模型

总结与下一步

要求

  • 对基本机器学习概念的理解
  • Python或后端开发经验
  • 熟悉基础的容器概念

受众

  • 开发者
  • 后端工程师
  • 部署AI服务的团队
 14 小时

客户评论 (5)

即将举行的公开课程

课程分类