课程大纲

机器人操控与深度学习导论

  • 操控任务与系统组件概述。
  • 传统方法与基于学习方法的对比。
  • 深度学习在感知、规划与控制中的应用。

操控中的感知技术

  • 视觉感知与抓取物体检测。
  • 3D视觉、深度感知与点云处理。
  • 训练卷积神经网络(CNN)用于物体定位与分割。

抓取规划与检测

  • 经典抓取规划算法。
  • 从数据与模拟中学习抓取姿态。
  • 实现抓取检测网络(如GGCNN、Dex-Net)。

控制与运动规划

  • 逆运动学与轨迹生成。
  • 基于学习的运动规划与模仿学习。
  • 强化学习用于操控控制策略。

与ROS 2及模拟环境集成

  • 为感知与控制设置ROS 2节点。
  • 在Gazebo和Isaac Sim中模拟机器人操作器。
  • 集成神经网络模型以实现实时控制。

端到端的操控学习

  • 在统一网络中结合感知、策略与控制。
  • 使用演示数据进行监督策略学习。
  • 模拟与真实硬件之间的领域适应。

评估与优化

  • 抓取成功率、稳定性与精确度的评估指标。
  • 在不同条件与干扰下的测试。
  • 模型压缩与边缘设备上的部署。

动手项目:基于深度学习的机器人抓取

  • 设计感知到动作的流程。
  • 训练与测试抓取检测模型。
  • 将模型集成到模拟机械臂中。

总结与下一步

要求

  • 对机器人运动学和动力学有深入理解。
  • 具备Python和深度学习框架的使用经验。
  • 熟悉ROS或类似的机器人中间件。

受众

  • 开发智能操控系统的机器人工程师。
  • 从事抓取应用的感知与控制专家。
  • 机器人学习与基于AI控制的研究人员及高级从业者。
 28 小时

客户评论 (1)

即将举行的公开课程

课程分类