联系我们

课程大纲

第一天:基础与核心威胁

模块1:OWASP GenAI Security Project 简介(1小时)

学习目标:

  • 理解从 OWASP Top 10 到特定于 GenAI 安全挑战的演变
  • 探索 OWASP GenAI Security Project 生态系统与资源
  • 识别传统应用安全与 AI 安全之间的关键差异

涵盖主题:

  • OWASP GenAI Security Project 使命与范围概述
  • 威胁防御 COMPASS 框架简介
  • 理解 AI 安全格局与监管要求
  • AI 攻击面与传统 Web 应用漏洞对比

实操练习:配置 OWASP 威胁防御 COMPASS 工具并进行初始威胁评估

模块2:LLM的OWASP Top 10 - 第一部分(2.5小时)

学习目标:

  • 掌握前五种关键的 LLM 漏洞
  • 理解攻击向量与利用技术
  • 应用实践缓解策略

涵盖主题:

LLM01:提示词注入(Prompt Injection)

  • 直接和间接提示词注入技术
  • 隐藏指令攻击与跨提示词污染
  • 实际案例:越狱聊天机器人并绕过安全措施
  • 防御策略:输入清洗、提示词过滤、差分隐私

LLM02:敏感信息泄露

  • 训练数据提取与系统提示词泄露
  • 用于敏感信息暴露的模型行为分析
  • 隐私影响与监管合规考量
  • 缓解措施:输出过滤、访问控制、数据匿名化

LLM03:供应链漏洞

  • 第三方模型依赖与插件安全
  • 被污染的训练数据集与模型投毒
  • AI 组件的供应商风险评估
  • 安全的模型部署与验证实践

实操练习:通过实操实验室演示针对存在漏洞 LLM 应用的提示词注入攻击,并实施防御措施

模块3:LLM的OWASP Top 10 - 第二部分(2小时)

涵盖主题:

LLM04:数据与模型投毒

  • 训练数据操纵技术
  • 通过被污染输入修改模型行为
  • 后门攻击与数据完整性验证
  • 预防措施:数据验证管道、溯源追踪

LLM05:不当的输出处理

  • 对 LLM 生成内容的非安全处理
  • 通过 AI 生成输出进行的代码注入
  • 通过 AI 响应进行跨站脚本攻击(XSS)
  • 输出验证与清洗框架

实操练习:模拟数据投毒攻击并实施健壮的输出验证机制

模块4:高级LLM威胁(1.5小时)

涵盖主题:

LLM06:过度自主权(Excessive Agency)

  • 自主决策风险与边界违规
  • 代理权限与许可管理
  • 非预期的系统交互与权限提升
  • 实施护栏与人机监督控制

LLM07:系统提示词泄露

  • 系统指令暴露漏洞
  • 通过提示词泄露凭证与逻辑
  • 提取系统提示词的攻击技术
  • 保护系统指令与外部配置

实操练习:设计具有适当访问控制和监控的安全代理架构

第二天:高级威胁与实施

模块5:新兴AI威胁(2小时)

学习目标:

  • 理解前沿 AI 安全威胁
  • 实施先进的检测与预防技术
  • 设计能抵御复杂攻击的弹性 AI 系统

涵盖主题:

LLM08:向量与嵌入弱点

  • RAG 系统漏洞与向量数据库安全
  • 嵌入投毒与相似度操纵攻击
  • 语义搜索中的对抗性样本
  • 保护向量存储并实施异常检测

LLM09:错误信息与模型可靠性

  • 幻觉检测与缓解
  • 偏差放大与公平性考量
  • 事实核查与来源验证机制
  • 内容验证与人机监督集成

LLM10:无限制消耗

  • 资源耗尽与拒绝服务攻击
  • 速率限制与资源管理策略
  • 成本优化与预算控制
  • 性能监控与告警系统

实操练习:构建具有向量数据库保护和幻觉检测的安全 RAG 管道

模块6:智能体AI安全(2小时)

学习目标:

  • 理解自主 AI 代理特有的安全挑战
  • 将 OWASP 智能体 AI 分类法应用于实际系统
  • 为多代理环境实施安全控制措施

涵盖主题:

  • 智能体 AI 与自主系统简介
  • OWASP 智能体 AI 威胁分类法:代理设计、记忆、规划、工具使用、部署
  • 多代理系统安全与协调风险
  • 工具误用、记忆投毒与目标劫持攻击
  • 保护代理通信与决策过程

实操练习:在 multi-agent 客户服务系统上使用 OWASP 智能体 AI 分类法进行威胁建模练习

模块7:OWASP威胁防御COMPASS实施(2小时)

学习目标:

  • 掌握威胁防御 COMPASS 的实际应用
  • 将 AI 威胁评估整合到组织的安全计划中
  • 制定全面的 AI 风险管理策略

涵盖主题:

  • 深入探讨威胁防御 COMPASS 方法论
  • 集成 OODA 循环:观察、定位、决策、行动
  • 将威胁映射至 MITRE ATT&CK 和 ATLAS 框架
  • 构建 AI 威胁弹性策略仪表板
  • 与现有安全工具及流程集成

实操练习:在 Microsoft Copilot 部署场景中完成使用 COMPASS 的威胁评估

模块8:实践实施与最佳实践(2.5小时)

学习目标:

  • 从头设计安全的 AI 架构
  • 为 AI 系统实施监控与应急响应
  • 创建 AI 安全治理框架

涵盖主题:

安全AI开发生命周期:

  • AI 应用的“设计即安全”原则
  • LLM 集成的代码审查实践
  • 测试方法与漏洞扫描
  • 部署安全与生产环境加固

监控与检测:

  • 特定于 AI 的日志记录与监控要求
  • AI 系统的异常检测
  • AI 安全事件的应急响应程序
  • 取证与调查技术

治理与合规:

  • AI 风险管理框架与政策
  • 监管合规考量(GDPR、AI法案等)
  • AI 供应商的第三方风险评估
  • 面向 AI 开发团队的安全意识培训

实操练习:为企业 AI 聊天机器人设计完整的安全架构,包括监控、治理和应急响应程序

模块9:工具与技术(1小时)

学习目标:

  • 评估并实施 AI 安全工具
  • 了解当前 AI 安全解决方案格局
  • 构建实用的检测与预防能力

涵盖主题:

  • AI 安全工具生态系统与供应商格局
  • 开源安全工具:Garak, PyRIT, Giskard
  • 商业 AI 安全与监控解决方案
  • 集成模式与部署策略
  • 工具选择标准与评估框架

实操练习:演示 AI 安全测试工具并制定实施计划

模块10:未来趋势与总结(1小时)

学习目标:

  • 理解新兴威胁与未来安全挑战
  • 制定持续学习与改进策略
  • 为组织的 AI 安全计划创建行动计划

涵盖主题:

  • 新兴威胁:深度伪造、高级提示词注入、模型反演
  • 未来 OWASP GenAI 项目发展与路线图
  • 构建 AI 安全社区与知识共享
  • 持续改进与威胁情报集成

行动计划练习:制定一份 90 天行动计划,用于在学员所在组织中实施 OWASP GenAI 安全实践

要求

  • 对 Web 应用安全原则有一般性理解
  • 基本熟悉 AI/ML 概念
  • 具有安全框架或风险评估方法论经验者优先

受众

  • 网络安全专业人员
  • AI 开发人员
  • 系统架构师
  • 合规官员
  • 安全从业者
 14 小时

客户评论 (1)

即将举行的公开课程

课程分类