课程大纲

AI红队简介

  • 了解AI威胁环境
  • 红队在AI安全中的角色
  • 道德和法律考虑

对抗性机器学习

  • 攻击类型:规避、投毒、提取、推断
  • 生成对抗性样本(如FGSM、PGD)
  • 目标与非目标攻击及成功指标

测试模型鲁棒性

  • 评估扰动下的鲁棒性
  • 探索模型盲点和故障模式
  • 压力测试分类、视觉和NLP模型

红队AI管道

  • AI管道的攻击面:数据、模型、部署
  • 利用不安全的模型API和端点
  • 逆向工程模型行为和输出

模拟与工具

  • 使用对抗性鲁棒性工具箱(ART)
  • 使用TextAttack和IBM ART进行红队测试
  • 沙盒、监控和可观测性工具

AI红队策略与防御协作

  • 制定红队练习和目标
  • 向蓝队传达发现
  • 将红队测试整合到AI风险管理中

总结与下一步

要求

  • 了解机器学习和深度学习架构
  • 具备Python和ML框架(如TensorFlow、PyTorch)的经验
  • 熟悉网络安全概念或进攻性安全技术

受众

  • 安全研究人员
  • 进攻性安全团队
  • AI保障和红队专业人员
 14 小时

即将举行的公开课程

课程分类