课程大纲
第一天:基础与核心威胁
模块1:OWASP GenAI Security Project 简介(1小时)
学习目标:
- 理解从 OWASP Top 10 到特定于 GenAI 安全挑战的演变
- 探索 OWASP GenAI Security Project 生态系统与资源
- 识别传统应用安全与 AI 安全之间的关键差异
涵盖主题:
- OWASP GenAI Security Project 使命与范围概述
- 威胁防御 COMPASS 框架简介
- 理解 AI 安全格局与监管要求
- AI 攻击面与传统 Web 应用漏洞对比
实操练习:配置 OWASP 威胁防御 COMPASS 工具并进行初始威胁评估
模块2:LLM的OWASP Top 10 - 第一部分(2.5小时)
学习目标:
- 掌握前五种关键的 LLM 漏洞
- 理解攻击向量与利用技术
- 应用实践缓解策略
涵盖主题:
LLM01:提示词注入(Prompt Injection)
- 直接和间接提示词注入技术
- 隐藏指令攻击与跨提示词污染
- 实际案例:越狱聊天机器人并绕过安全措施
- 防御策略:输入清洗、提示词过滤、差分隐私
LLM02:敏感信息泄露
- 训练数据提取与系统提示词泄露
- 用于敏感信息暴露的模型行为分析
- 隐私影响与监管合规考量
- 缓解措施:输出过滤、访问控制、数据匿名化
LLM03:供应链漏洞
- 第三方模型依赖与插件安全
- 被污染的训练数据集与模型投毒
- AI 组件的供应商风险评估
- 安全的模型部署与验证实践
实操练习:通过实操实验室演示针对存在漏洞 LLM 应用的提示词注入攻击,并实施防御措施
模块3:LLM的OWASP Top 10 - 第二部分(2小时)
涵盖主题:
LLM04:数据与模型投毒
- 训练数据操纵技术
- 通过被污染输入修改模型行为
- 后门攻击与数据完整性验证
- 预防措施:数据验证管道、溯源追踪
LLM05:不当的输出处理
- 对 LLM 生成内容的非安全处理
- 通过 AI 生成输出进行的代码注入
- 通过 AI 响应进行跨站脚本攻击(XSS)
- 输出验证与清洗框架
实操练习:模拟数据投毒攻击并实施健壮的输出验证机制
模块4:高级LLM威胁(1.5小时)
涵盖主题:
LLM06:过度自主权(Excessive Agency)
- 自主决策风险与边界违规
- 代理权限与许可管理
- 非预期的系统交互与权限提升
- 实施护栏与人机监督控制
LLM07:系统提示词泄露
- 系统指令暴露漏洞
- 通过提示词泄露凭证与逻辑
- 提取系统提示词的攻击技术
- 保护系统指令与外部配置
实操练习:设计具有适当访问控制和监控的安全代理架构
第二天:高级威胁与实施
模块5:新兴AI威胁(2小时)
学习目标:
- 理解前沿 AI 安全威胁
- 实施先进的检测与预防技术
- 设计能抵御复杂攻击的弹性 AI 系统
涵盖主题:
LLM08:向量与嵌入弱点
- RAG 系统漏洞与向量数据库安全
- 嵌入投毒与相似度操纵攻击
- 语义搜索中的对抗性样本
- 保护向量存储并实施异常检测
LLM09:错误信息与模型可靠性
- 幻觉检测与缓解
- 偏差放大与公平性考量
- 事实核查与来源验证机制
- 内容验证与人机监督集成
LLM10:无限制消耗
- 资源耗尽与拒绝服务攻击
- 速率限制与资源管理策略
- 成本优化与预算控制
- 性能监控与告警系统
实操练习:构建具有向量数据库保护和幻觉检测的安全 RAG 管道
模块6:智能体AI安全(2小时)
学习目标:
- 理解自主 AI 代理特有的安全挑战
- 将 OWASP 智能体 AI 分类法应用于实际系统
- 为多代理环境实施安全控制措施
涵盖主题:
- 智能体 AI 与自主系统简介
- OWASP 智能体 AI 威胁分类法:代理设计、记忆、规划、工具使用、部署
- 多代理系统安全与协调风险
- 工具误用、记忆投毒与目标劫持攻击
- 保护代理通信与决策过程
实操练习:在 multi-agent 客户服务系统上使用 OWASP 智能体 AI 分类法进行威胁建模练习
模块7:OWASP威胁防御COMPASS实施(2小时)
学习目标:
- 掌握威胁防御 COMPASS 的实际应用
- 将 AI 威胁评估整合到组织的安全计划中
- 制定全面的 AI 风险管理策略
涵盖主题:
- 深入探讨威胁防御 COMPASS 方法论
- 集成 OODA 循环:观察、定位、决策、行动
- 将威胁映射至 MITRE ATT&CK 和 ATLAS 框架
- 构建 AI 威胁弹性策略仪表板
- 与现有安全工具及流程集成
实操练习:在 Microsoft Copilot 部署场景中完成使用 COMPASS 的威胁评估
模块8:实践实施与最佳实践(2.5小时)
学习目标:
- 从头设计安全的 AI 架构
- 为 AI 系统实施监控与应急响应
- 创建 AI 安全治理框架
涵盖主题:
安全AI开发生命周期:
- AI 应用的“设计即安全”原则
- LLM 集成的代码审查实践
- 测试方法与漏洞扫描
- 部署安全与生产环境加固
监控与检测:
- 特定于 AI 的日志记录与监控要求
- AI 系统的异常检测
- AI 安全事件的应急响应程序
- 取证与调查技术
治理与合规:
- AI 风险管理框架与政策
- 监管合规考量(GDPR、AI法案等)
- AI 供应商的第三方风险评估
- 面向 AI 开发团队的安全意识培训
实操练习:为企业 AI 聊天机器人设计完整的安全架构,包括监控、治理和应急响应程序
模块9:工具与技术(1小时)
学习目标:
- 评估并实施 AI 安全工具
- 了解当前 AI 安全解决方案格局
- 构建实用的检测与预防能力
涵盖主题:
- AI 安全工具生态系统与供应商格局
- 开源安全工具:Garak, PyRIT, Giskard
- 商业 AI 安全与监控解决方案
- 集成模式与部署策略
- 工具选择标准与评估框架
实操练习:演示 AI 安全测试工具并制定实施计划
模块10:未来趋势与总结(1小时)
学习目标:
- 理解新兴威胁与未来安全挑战
- 制定持续学习与改进策略
- 为组织的 AI 安全计划创建行动计划
涵盖主题:
- 新兴威胁:深度伪造、高级提示词注入、模型反演
- 未来 OWASP GenAI 项目发展与路线图
- 构建 AI 安全社区与知识共享
- 持续改进与威胁情报集成
行动计划练习:制定一份 90 天行动计划,用于在学员所在组织中实施 OWASP GenAI 安全实践
要求
- 对 Web 应用安全原则有一般性理解
- 基本熟悉 AI/ML 概念
- 具有安全框架或风险评估方法论经验者优先
受众
- 网络安全专业人员
- AI 开发人员
- 系统架构师
- 合规官员
- 安全从业者
客户评论 (1)
我非常喜欢学习关于AI攻击的内容,以及那些可以开始实践并积极用于安全测试的工具。我学到了很多之前不了解的知识,课程也达到了我的期望。培训中我最喜欢的部分是Comet Browser,它的功能让我感到惊叹。这绝对是我会进一步研究的内容。总体来说,这是一门很棒的课程,我很享受学习所有OWASP GenAI Top 10的内容。
Patrick Collins - Optum
课程 - OWASP GenAI Security
机器翻译