课程大纲

混合AI部署基础

  • 理解混合、云和边缘部署模型。
  • AI工作负载特性与基础设施限制。
  • 选择正确的部署拓扑结构。

使用Docker容器化AI工作负载

  • 构建GPU和CPU推理容器。
  • 管理安全的镜像和注册表。
  • 为AI实现可复现的环境。

将AI服务部署到云环境

  • 通过Docker在AWS、Azure和GCP上运行推理。
  • 为模型服务配置云计算资源。
  • 保护基于云的AI端点。

边缘和本地部署技术

  • 在物联网设备、网关和微型服务器上运行AI。
  • 适用于边缘环境的轻量级运行时。
  • 管理间歇性连接和本地持久性。

混合网络与安全连接

  • 在边缘和云之间建立安全隧道。
  • 证书、密钥和基于令牌的访问。
  • 低延迟推理的性能调优。

编排分布式AI部署

  • 使用K3s、K8s或轻量级编排工具进行混合设置。
  • 服务发现与工作负载调度。
  • 自动化多地点部署策略。

跨环境的监控与可观察性

  • 跟踪跨地点的推理性能。
  • 混合AI系统的集中日志记录。
  • 故障检测与自动恢复。

扩展与优化混合AI系统

  • 扩展边缘集群和云节点。
  • 优化带宽使用与缓存。
  • 平衡云与边缘之间的计算负载。

总结与下一步

要求

  • 了解容器化概念。
  • 具备Linux命令行操作经验。
  • 熟悉AI模型部署工作流。

受众

  • 基础设施架构师。
  • 站点可靠性工程师(SREs)。
  • 边缘和物联网开发者。
 21 小时

客户评论 (5)

即将举行的公开课程

课程分类