联系我们
 课程时长 14 小时

课程大纲

第1天:基础与核心威胁

模块1:OWASP GenAI安全项目简介(1小时)

学习目标:

  • 理解从OWASP Top 10到GenAI特定安全挑战的演变过程
  • 探索OWASP GenAI安全项目生态系统及相关资源
  • 识别传统应用安全与AI安全之间的关键差异

涵盖话题:

  • OWASP GenAI安全项目的使命与范围概述
  • 威胁防御COMPASS框架介绍
  • 理解AI安全格局及监管要求
  • AI攻击面与传统Web应用漏洞的对比

实操练习: 配置OWASP威胁防御COMPASS工具,并执行初步威胁评估

模块2:大语言模型OWASP Top 10 - 第一部分(2.5小时)

学习目标:

  • 掌握前五大关键大语言模型漏洞
  • 理解攻击向量及利用技术
  • 应用实际的缓解策略

涵盖话题:

LLM01:提示注入

  • 直接提示注入和间接提示注入技术
  • 隐藏指令攻击及跨提示污染
  • 实际案例:聊天机器人越狱及安全机制绕过
  • 防御策略:输入清洗、提示过滤、差分隐私

LLM02:敏感信息泄露

  • 训练数据提取及系统提示泄露
  • 通过模型行为分析敏感信息暴露情况
  • 隐私影响及合规性考量
  • 缓解措施:输出过滤、访问控制、数据匿名化

LLM03:供应链漏洞

  • 第三方模型依赖项及插件安全
  • 被篡改的训练数据集及模型投毒
  • AI组件的供应商风险评估
  • 安全的模型部署与验证实践

实操练习: 动手实验,演示针对存在漏洞的大语言模型应用的提示注入攻击,并实施防御措施

模块3:大语言模型OWASP Top 10 - 第二部分(2小时)

涵盖话题:

LLM04:数据与模型投毒

  • 训练数据操纵技术
  • 通过受污染输入修改模型行为
  • 后门攻击及数据完整性验证
  • 预防措施:数据验证流水线、溯源追踪

LLM05:输出处理不当

  • 不安全处理大语言模型生成内容
  • 通过AI生成输出进行代码注入
  • 通过AI响应进行跨站脚本攻击
  • 输出验证与清洗框架

实操练习: 模拟数据投毒攻击,并实施健壮的输出验证机制

模块4:高级大语言模型威胁(1.5小时)

涵盖话题:

LLM06:过度权限/自主性

  • 自主决策风险及边界违规
  • 智能体权限及管理
  • 非预期的系统交互及权限提升
  • 实施护栏机制及人工监督控制

LLM07:系统提示泄露

  • 系统指令暴露漏洞
  • 通过提示泄露凭据及逻辑
  • 提取系统提示的攻击技术
  • 保护系统指令及外部配置

实操练习: 设计具有适当访问控制和监控的安全智能体架构

第2天:高级威胁与实施

模块5:新兴AI威胁(2小时)

学习目标:

  • 理解前沿AI安全威胁
  • 实施高级检测与预防技术
  • 设计具备抵御复杂攻击韧性的AI系统

涵盖话题:

LLM08:向量与嵌入弱点

  • RAG系统漏洞及向量数据库安全
  • 嵌入投毒及相似度操纵攻击
  • 语义搜索中的对抗性样本
  • 保护向量存储及实施异常检测

LLM09:错误信息与模型可靠性

  • 幻觉检测与缓解
  • 偏见放大及公平性考量
  • 事实核查及来源验证机制
  • 内容验证及人工监督整合

LLM10:无限制消耗

  • 资源耗尽及拒绝服务攻击
  • 速率限制及资源管理策略
  • 成本优化及预算控制
  • 性能监控及告警系统

实操练习: 构建安全的RAG流水线,包含向量数据库保护及幻觉检测

模块6:智能体AI安全(2小时)

学习目标:

  • 理解自主AI智能体的独特安全挑战
  • 在现实系统中应用OWASP智能体AI分类法
  • 在多智能体环境中实施安全控制

涵盖话题:

  • 智能体AI及自主系统简介
  • OWASP智能体AI威胁分类法:智能体设计、记忆、规划、工具使用、部署
  • 多智能体系统安全及协同风险
  • 工具滥用、记忆投毒及目标劫持攻击
  • 保护智能体通信及决策过程

实操练习: 基于OWASP智能体AI分类法,对多智能体客服系统进行威胁建模练习

模块7:OWASP威胁防御COMPASS实施(2小时)

学习目标:

  • 掌握威胁防御COMPASS的实际应用
  • 将AI威胁评估整合到组织安全计划中
  • 制定全面的AI风险管理策略

涵盖话题:

  • 深入解析威胁防御COMPASS方法
  • OODA环整合:观察、调整、决策、行动
  • 将威胁映射至MITRE ATT&CK及ATLAS框架
  • 构建AI威胁韧性策略仪表板
  • 与现有安全工具和流程集成

实操练习: 使用COMPASS为Microsoft Copilot部署场景完成威胁评估

模块8:实战实施与最佳实践(2.5小时)

学习目标:

  • 从零开始设计安全的AI架构
  • 为AI系统实施监控和应急响应
  • 创建AI安全治理框架

涵盖话题:

安全的AI开发生命周期:

  • AI应用的安全设计原则
  • 大语言模型集成的代码审查实践
  • 测试方法及漏洞扫描
  • 部署安全及生产环境加固

监控与检测:

  • AI特有的日志记录和监控需求
  • AI系统的异常检测
  • AI安全事件的应急响应程序
  • 取证及调查技术

治理与合规:

  • AI风险管理框架及政策
  • 合规性考量(如GDPR、AI法案等)
  • AI供应商的第三方风险评估
  • 面向AI开发团队的安全意识培训

实操练习: 为企业AI聊天机器人设计完整的安全架构,包括监控、治理及应急响应程序

模块9:工具与技术(1小时)

学习目标:

  • 评估并实施AI安全工具
  • 了解当前AI安全解决方案格局
  • 构建实际的检测与预防能力

涵盖话题:

  • AI安全工具生态系统及供应商格局
  • 开源安全工具:Garak、PyRIT、Giskard
  • 用于AI安全和监控的商业解决方案
  • 集成模式及部署策略
  • 工具选择标准及评估框架

实操练习: 动手演示AI安全测试工具及实施规划

模块10:未来趋势与总结(1小时)

学习目标:

  • 理解新兴威胁及未来安全挑战
  • 制定持续学习和改进策略
  • 为组织AI安全计划创建行动计划

涵盖话题:

  • 新兴威胁:深度伪造、高级提示注入、模型逆向
  • 未来OWASP GenAI项目发展及路线图
  • 构建AI安全社区及知识共享
  • 持续改进及威胁情报整合

行动计划练习: 制定一项90天行动计划,以便在学员所在组织实施OWASP GenAI安全实践

要求

  • 了解Web应用安全的基本原则
  • 具备安全框架或风险评估方法论经验者优先

目标受众

  • 网络安全专家
  • AI开发人员
  • 系统架构师
  • 合规专员
  • 安全从业者

客户评论 (1)

即将举行的公开课程

课程分类