课程大纲
第1天:基础与核心威胁
模块1:OWASP GenAI安全项目简介(1小时)
学习目标:
- 理解从OWASP Top 10到GenAI特定安全挑战的演变过程
- 探索OWASP GenAI安全项目生态系统及相关资源
- 识别传统应用安全与AI安全之间的关键差异
涵盖话题:
- OWASP GenAI安全项目的使命与范围概述
- 威胁防御COMPASS框架介绍
- 理解AI安全格局及监管要求
- AI攻击面与传统Web应用漏洞的对比
实操练习: 配置OWASP威胁防御COMPASS工具,并执行初步威胁评估
模块2:大语言模型OWASP Top 10 - 第一部分(2.5小时)
学习目标:
- 掌握前五大关键大语言模型漏洞
- 理解攻击向量及利用技术
- 应用实际的缓解策略
涵盖话题:
LLM01:提示注入
- 直接提示注入和间接提示注入技术
- 隐藏指令攻击及跨提示污染
- 实际案例:聊天机器人越狱及安全机制绕过
- 防御策略:输入清洗、提示过滤、差分隐私
LLM02:敏感信息泄露
- 训练数据提取及系统提示泄露
- 通过模型行为分析敏感信息暴露情况
- 隐私影响及合规性考量
- 缓解措施:输出过滤、访问控制、数据匿名化
LLM03:供应链漏洞
- 第三方模型依赖项及插件安全
- 被篡改的训练数据集及模型投毒
- AI组件的供应商风险评估
- 安全的模型部署与验证实践
实操练习: 动手实验,演示针对存在漏洞的大语言模型应用的提示注入攻击,并实施防御措施
模块3:大语言模型OWASP Top 10 - 第二部分(2小时)
涵盖话题:
LLM04:数据与模型投毒
- 训练数据操纵技术
- 通过受污染输入修改模型行为
- 后门攻击及数据完整性验证
- 预防措施:数据验证流水线、溯源追踪
LLM05:输出处理不当
- 不安全处理大语言模型生成内容
- 通过AI生成输出进行代码注入
- 通过AI响应进行跨站脚本攻击
- 输出验证与清洗框架
实操练习: 模拟数据投毒攻击,并实施健壮的输出验证机制
模块4:高级大语言模型威胁(1.5小时)
涵盖话题:
LLM06:过度权限/自主性
- 自主决策风险及边界违规
- 智能体权限及管理
- 非预期的系统交互及权限提升
- 实施护栏机制及人工监督控制
LLM07:系统提示泄露
- 系统指令暴露漏洞
- 通过提示泄露凭据及逻辑
- 提取系统提示的攻击技术
- 保护系统指令及外部配置
实操练习: 设计具有适当访问控制和监控的安全智能体架构
第2天:高级威胁与实施
模块5:新兴AI威胁(2小时)
学习目标:
- 理解前沿AI安全威胁
- 实施高级检测与预防技术
- 设计具备抵御复杂攻击韧性的AI系统
涵盖话题:
LLM08:向量与嵌入弱点
- RAG系统漏洞及向量数据库安全
- 嵌入投毒及相似度操纵攻击
- 语义搜索中的对抗性样本
- 保护向量存储及实施异常检测
LLM09:错误信息与模型可靠性
- 幻觉检测与缓解
- 偏见放大及公平性考量
- 事实核查及来源验证机制
- 内容验证及人工监督整合
LLM10:无限制消耗
- 资源耗尽及拒绝服务攻击
- 速率限制及资源管理策略
- 成本优化及预算控制
- 性能监控及告警系统
实操练习: 构建安全的RAG流水线,包含向量数据库保护及幻觉检测
模块6:智能体AI安全(2小时)
学习目标:
- 理解自主AI智能体的独特安全挑战
- 在现实系统中应用OWASP智能体AI分类法
- 在多智能体环境中实施安全控制
涵盖话题:
- 智能体AI及自主系统简介
- OWASP智能体AI威胁分类法:智能体设计、记忆、规划、工具使用、部署
- 多智能体系统安全及协同风险
- 工具滥用、记忆投毒及目标劫持攻击
- 保护智能体通信及决策过程
实操练习: 基于OWASP智能体AI分类法,对多智能体客服系统进行威胁建模练习
模块7:OWASP威胁防御COMPASS实施(2小时)
学习目标:
- 掌握威胁防御COMPASS的实际应用
- 将AI威胁评估整合到组织安全计划中
- 制定全面的AI风险管理策略
涵盖话题:
- 深入解析威胁防御COMPASS方法
- OODA环整合:观察、调整、决策、行动
- 将威胁映射至MITRE ATT&CK及ATLAS框架
- 构建AI威胁韧性策略仪表板
- 与现有安全工具和流程集成
实操练习: 使用COMPASS为Microsoft Copilot部署场景完成威胁评估
模块8:实战实施与最佳实践(2.5小时)
学习目标:
- 从零开始设计安全的AI架构
- 为AI系统实施监控和应急响应
- 创建AI安全治理框架
涵盖话题:
安全的AI开发生命周期:
- AI应用的安全设计原则
- 大语言模型集成的代码审查实践
- 测试方法及漏洞扫描
- 部署安全及生产环境加固
监控与检测:
- AI特有的日志记录和监控需求
- AI系统的异常检测
- AI安全事件的应急响应程序
- 取证及调查技术
治理与合规:
- AI风险管理框架及政策
- 合规性考量(如GDPR、AI法案等)
- AI供应商的第三方风险评估
- 面向AI开发团队的安全意识培训
实操练习: 为企业AI聊天机器人设计完整的安全架构,包括监控、治理及应急响应程序
模块9:工具与技术(1小时)
学习目标:
- 评估并实施AI安全工具
- 了解当前AI安全解决方案格局
- 构建实际的检测与预防能力
涵盖话题:
- AI安全工具生态系统及供应商格局
- 开源安全工具:Garak、PyRIT、Giskard
- 用于AI安全和监控的商业解决方案
- 集成模式及部署策略
- 工具选择标准及评估框架
实操练习: 动手演示AI安全测试工具及实施规划
模块10:未来趋势与总结(1小时)
学习目标:
- 理解新兴威胁及未来安全挑战
- 制定持续学习和改进策略
- 为组织AI安全计划创建行动计划
涵盖话题:
- 新兴威胁:深度伪造、高级提示注入、模型逆向
- 未来OWASP GenAI项目发展及路线图
- 构建AI安全社区及知识共享
- 持续改进及威胁情报整合
行动计划练习: 制定一项90天行动计划,以便在学员所在组织实施OWASP GenAI安全实践
要求
- 了解Web应用安全的基本原则
- 具备安全框架或风险评估方法论经验者优先
目标受众
- 网络安全专家
- AI开发人员
- 系统架构师
- 合规专员
- 安全从业者
客户评论 (1)
我非常喜欢学习关于AI攻击的内容,以及那些可以开始实践并积极用于安全测试的工具。我学到了很多之前不了解的知识,课程也达到了我的期望。培训中我最喜欢的部分是Comet Browser,它的功能让我感到惊叹。这绝对是我会进一步研究的内容。总体来说,这是一门很棒的课程,我很享受学习所有OWASP GenAI Top 10的内容。
Patrick Collins - Optum
课程 - OWASP GenAI Security
机器翻译