课程大纲

多模态学习导论

  • 多模态 AI 概述
  • 多模态数据处理的挑战
  • 多模态 LLM 的好处

了解大型语言模型

  • 最先进的 LLM 架构
  • 使用多模态数据训练 LLM
  • 案例研究:成功的多模态 LLM 应用

处理多模态数据

  • 文本、图像和音频的数据预处理技术
  • 特征提取和表示学习
  • 在 LLM 中集成多模态数据

开发多模态 LLM 应用程序

  • 设计用于多模态交互的用户界面
  • 虚拟助手和聊天机器人中的 LLM
  • 使用 LLM 创建身临其境的体验

评估和优化多式联运系统

  • 多模态 LLM 的性能指标
  • 优化策略,提高准确性和效率
  • 解决多式联运系统中的偏见和公平性

动手实验室:构建多模态 LLM 项目

  • 设置多模态数据集
  • 为特定用例实施多模态 LLM
  • 测试和完善系统

摘要和后续步骤

要求

  • 了解机器学习和神经网络
  • 具有 Python 编程经验
  • 熟悉各种数据类型(文本、图像、音频)的数据预处理

观众

  • 数据科学家
  • 机器学习工程师
  • 软件开发人员
  • 专注于人工智能和自然语言处理的研究人员
 14 小时

即将举行的公开课程

课程分类