课程大纲

Vertex AI中的多模态LLM介绍

  • Vertex AI多模态功能概述
  • Gemini模型及支持的模态
  • 企业和研究中的用例

开发环境设置

  • 配置Vertex AI以支持多模态工作流
  • 处理跨模态数据集
  • 实践实验室:环境设置与数据集准备

长上下文窗口与高级推理

  • 理解长上下文工作流
  • 规划与决策中的用例
  • 实践实验室:实现长上下文分析

跨模态工作流设计

  • 结合文本、音频和图像分析
  • 在管道中链接多模态步骤
  • 实践实验室:设计多模态管道

使用Gemini API参数

  • 配置多模态输入和输出
  • 优化推理与效率
  • 实践实验室:调整Gemini API参数

高级应用与集成

  • 交互式多模态代理与助手
  • 集成外部API和工具
  • 实践实验室:构建多模态应用

评估与迭代

  • 测试多模态性能
  • 准确性、对齐与漂移的指标
  • 实践实验室:评估多模态工作流

总结与下一步

要求

  • 熟练使用Python编程
  • 具备机器学习模型开发经验
  • 熟悉多模态数据(文本、音频、图像)

受众

  • AI研究人员
  • 高级开发者
  • ML科学家
 14 小时

即将举行的公开课程

课程分类