课程大纲

多模态界面简介

  • 什么是多模态界面?
  • 多模态交互的优势与挑战
  • 各行业中的实际应用

多模态AI与人机交互

  • 理解以人为中心的AI设计
  • 驱动多模态界面的关键AI技术
  • 人机协作中的心理与认知考量

语音识别与自然语言处理(NLP)

  • 语音转文本与文本转语音技术
  • 使用OpenAI的Whisper或Mozilla DeepSpeech
  • 提升AI驱动的语音交互

手势识别与动作跟踪

  • 理解手部跟踪与身体手势
  • 在UI设计中实现手势控制
  • 动手实践开源手势识别库

眼动跟踪与基于凝视的交互

  • 眼动跟踪技术简介
  • 在可访问性与自适应界面中的应用案例
  • 开发基于凝视的输入系统

多模态融合:整合多种输入方式

  • AI如何结合语音、手势与视觉
  • 构建自适应与个性化的AI交互
  • 无缝多模态体验的最佳实践

多模态界面的原型设计与实现

  • 设计用户友好的AI驱动界面
  • 使用Figma与AI工具进行多模态交互原型设计
  • 使用Python与AI框架开发实际应用

多模态界面的测试与评估

  • 多模态AI的可用性测试方法
  • 测量用户体验与满意度
  • 优化AI驱动的交互

人机协作的未来趋势

  • 多模态AI与深度学习的进展
  • 人机交互的新兴趋势
  • AI在未来用户体验中的角色

总结与下一步

要求

  • 对AI和机器学习概念的基本理解
  • 熟悉UI/UX设计原则
  • 有一定的编程经验(推荐Python)

受众

  • UI/UX设计师
  • 产品经理
  • AI研究员
 14 小时

即将举行的公开课程

课程分类