课程大纲

AI 红队介绍

  • 理解 AI 威胁格局
  • 红队在 AI 安全中的角色
  • 道德与法律考量

对抗性 Machine Learning

  • 攻击类型:逃避、毒化、提取、推论
  • 生成对抗性示例(例如 FGSM、PGD)
  • 目标与非目标攻击及成功指标

测试模型稳健性

  • 评估在扰动下的稳健性
  • 探索模型盲点与失败模式
  • 压力测试分类、视觉与 NLP 模型

AI 管道的红队测试

  • AI 管道的攻击面:数据、模型、部署
  • 利用不安全的模型 API 和端点
  • 逆向工程模型行为与输出

模拟与工具

  • 使用对抗性稳健性工具箱(ART)
  • 使用 TextAttack 和 IBM ART 等工具进行红队测试
  • 沙盒、监控与可观测性工具

AI 红队策略与防御 Collaboration

  • 制定红队演习与目标
  • 向蓝队传达发现结果
  • 将红队测试整合到 AI 风险管理中

总结与下一步

要求

  • 对机器学习和深度学习架构的理解
  • 具备Python和ML框架(如TensorFlow、PyTorch)的经验
  • 熟悉网络安全概念或攻击性安全技术

受众

  • 安全研究人员
  • 攻击性安全团队
  • AI保证和红队专业人员
 14 小时

即将举行的公开课程

课程分类