课程大纲

多模态AI简介

  • 理解多模态数据
  • 关键概念与定义
  • 多模态学习的历史与演变

多模态数据处理

  • 数据收集与预处理
  • 从不同模态中提取特征
  • 数据融合技术

多模态表示学习

  • 学习联合表示
  • 跨模态嵌入
  • 跨模态的迁移学习

多模态对齐与翻译

  • 多模态数据的对齐
  • 跨模态检索系统
  • 模态之间的翻译(如文本到图像,图像到文本)

多模态推理与推断

  • 多模态数据的逻辑与推理
  • 多模态AI中的推断技术
  • 在问答与决策中的应用

多模态AI中的生成模型

  • 生成对抗网络(GANs)在多模态数据中的应用
  • 变分自编码器(VAEs)在跨模态生成中的应用
  • 生成式多模态AI的创意应用

多模态融合技术

  • 早期、晚期与混合融合方法
  • 多模态融合中的注意力机制
  • 融合以实现鲁棒的感知与交互

多模态AI的应用

  • 多模态人机交互
  • 自动驾驶中的AI
  • 医疗应用(如医学影像与诊断)

伦理考量与挑战

  • 多模态系统中的偏见与公平性
  • 多模态数据的隐私问题
  • 多模态AI系统的伦理设计与部署

多模态AI的高级主题

  • 多模态Transformer
  • 多模态AI中的自监督学习
  • 多模态机器学习的未来

总结与下一步

要求

  • 对人工智能和机器学习有基本了解
  • 熟练掌握Python编程
  • 熟悉数据处理和预处理

受众

  • AI研究人员
  • 数据科学家
  • 机器学习工程师
 21 小时

即将举行的公开课程

课程分类