联系我们

课程大纲

1. 高级Stable Diffusion简介

  • 课程目标和 learning path
  • 扩散模型回顾
  • Stable Diffusion架构概述
  • 潜在扩散模型(LDMs)
  • Stable Diffusion模型的演进(SD 1.x, SDXL及更新架构)
  • 企业用例和应用

2. 扩散模型的深度学习基础

  • 扩散过程基础
  • 前向和后向扩散
  • 噪声预测
  • 去噪U-Net架构
  • 变分自编码器(VAE)
  • CLIP文本编码器
  • 交叉注意力机制

3. 理解Stable Diffusion架构

  • 流水线组件
  • 文本编码过程
  • 潜在空间表示
  • 调度器算法
  • 采样方法
  • 图像解码工作流程

4. 高级提示工程

  • 提示结构和语法
  • 正向和负向提示
  • 提示加权
  • Token强调
  • 提示插值
  • 提示优化策略
  • 可复现的图像生成

5. 高级图像生成技术

  • 图生图
  • 图像修复
  • 向外绘制
  • 高分辨率生成
  • 多阶段细化
  • 批量图像生成
  • 使用种子值控制随机性

6. 条件图像生成

  • ControlNet架构
  • 姿态引导生成
  • 深度引导生成
  • 边缘检测条件
  • 分割指导
  • 参考图像条件
  • 多ControlNet工作流程

7. LoRA, DreamBooth及模型微调

  • 迁移学习概念
  • LoRA基础
  • DreamBooth训练
  • 文本反转
  • 自定义嵌入
  • 微调数据集
  • 评估自定义模型

8. 高级模型训练

  • 数据集准备
  • 数据增强
  • 标题生成
  • 训练流水线
  • 分布式训练
  • 混合精度训练
  • 检查点管理

9. 超参数优化

  • 学习率选择
  • 批大小优化
  • 调度器选择
  • CFG Scale优化
  • 采样步数
  • 正则化技术
  • 模型评估指标

10. 性能优化

  • GPU优化
  • CUDA优化
  • 内存高效注意力机制
  • xFormers优化
  • 量化技术
  • FP16和BF16推理
  • 高效批处理

11. 扩展Stable Diffusion工作负载

  • 多GPU训练
  • 分布式推理
  • 大规模数据集管理
  • 云GPU部署
  • 模型服务策略
  • 性能基准测试

12. 将Stable Diffusion与深度学习框架集成

  • Hugging Face Diffusers
  • PyTorch集成
  • TensorFlow互操作性
  • ONNX Runtime
  • TensorRT优化
  • Accelerate库
  • 流水线自定义

13. 构建生产流水线

  • API开发
  • 批量推理服务
  • 工作流自动化
  • 基于队列的生成
  • 模型版本控制
  • 生产部署策略

14. 图像质量增强

  • 超分辨率技术
  • 超级分辨率
  • 面部修复
  • 伪影减少
  • 图像细化工作流程
  • 后处理流水线

15. 负责任的人工智能与模型安全

  • 生成模型中的偏见
  • 伦理图像生成
  • 版权考量
  • AI生成内容披露
  • 安全过滤器
  • 提示审核
  • 负责任部署实践

16. 故障排除与调试

  • 诊断生成失败
  • 解决CUDA错误
  • 内存管理问题
  • 提高图像一致性
  • 调试自定义流水线
  • 性能故障排除

17. 监控与模型评估

  • 衡量生成质量
  • 基准测试模型
  • 比较检查点
  • 实验日志记录
  • 实验跟踪
  • 模型可复现性

18. 高级应用

  • 产品设计可视化
  • 营销内容生成
  • 角色设计
  • 建筑可视化
  • 医学影像研究
  • 科学可视化
  • 创意AI工作流程

19. 将Stable Diffusion与其他AI模型集成

  • 大型语言模型(LLMs)
  • 视觉-语言模型(VLMs)
  • 图像描述生成
  • 多模态系统的检索增强生成(RAG)
  • AI代理工作流程
  • 多模型编排

20. 企业部署最佳实践

  • 基础设施规划
  • GPU资源管理
  • 安全考量
  • 模型治理
  • AI模型的CI/CD
  • 维护和升级

21. 动手研讨会与总结

  • 构建完整的图像生成流水线
  • 微调自定义Stable Diffusion模型
  • 创建自动化生成工作流程
  • 性能优化练习
  • 模型评估与比较
  • 关键概念回顾
  • 问答环节
  • 后续步骤及进一步学习资源

要求

  • 深入理解深度学习概念和架构
  • 熟悉Stable Diffusion及文本到图像生成
  • 具备PyTorch和Python编程经验

受众

  • 数据科学家和机器学习工程师
  • 深度学习研究者
  • 计算机视觉专家。
 21 小时

即将举行的公开课程

课程分类