联系我们

课程大纲

混合AI部署基础

  • 理解混合、云及边缘部署模型。
  • AI工作负载特征与基础设施约束。
  • 选择合适的部署拓扑结构。

使用Docker对AI工作负载进行容器化

  • 构建GPU和CPU推理容器。
  • 管理安全的镜像与注册表。
  • 实施可复现的AI环境。

向云环境部署AI服务

  • 通过Docker在AWS、Azure和GCP上运行推理。
  • 为模型服务调配云端计算资源。
  • 保护基于云端的AI端点。

边缘与本地部署技术

  • 在IoT设备、网关和微服务器上运行AI。
  • 适用于边缘环境的轻量级运行时。
  • 管理间歇性连接和本地持久化存储。

混合网络与安全连接

  • 建立边缘与云端之间的安全隧道。
  • 证书、密钥与基于令牌的访问控制。
  • 针对低延迟推理的性能调优。

编排分布式AI部署

  • 在混合架构中使用K3s、K8s或轻量级编排工具。
  • 服务发现与工作负载调度。
  • 自动化多地点的部署策略。

跨环境的监控与可观测性

  • 追踪各地点的推理性能。
  • 为混合AI系统提供集中式日志记录。
  • 故障检测与自动恢复。

扩展与优化混合AI系统

  • 扩展边缘集群与云端节点。
  • 优化带宽使用与缓存机制。
  • 平衡云端与边缘的计算负载。

总结与后续步骤

要求

  • 理解容器化概念。
  • 具备Linux命令行操作经验。
  • 熟悉AI模型部署工作流程。

受众群体

  • 基础架构设计师。
  • 站点可靠性工程师(SREs)。
  • 边缘计算与IoT开发者。
 21 小时

客户评论 (3)

即将举行的公开课程

课程分类