课程大纲
模块1 — 面向安全工程师的AI系统
实验:实验01 — 01-介绍
理解架构。
主题:
- LLM与普通应用程序
- AI推理管道
- 提示流
- RAG架构
- 嵌入/向量数据库
- 代理式工作流
- 工具调用
- AI网关
- 副驾驶
- MCP和代理协议
- WAF可见性存在的地方
- WAF可见性消失的地方
关键洞察:传统WAF通常在提示到达模型后失去可见性。
模块2 — OWASP GenAI Top 10
实验:无 — 互动回顾/讨论
核心AI攻击类别。
主题:
- 提示注入
- 不安全输出处理
- 训练数据投毒
- 模型DoS
- 供应链漏洞
- 敏感信息泄露
- 过度代理
- 向量/嵌入弱点
- 错误信息
- 无限制消耗
包括:
- 与经典OWASP的区别
- 映射到防御控制(WAF、网关、应用层)
- 每个控制的帮助点
- 每个控制的失败点
模块3 — 提示注入检测
实验:实验02 — 02-提示注入
AI的“SQL注入时刻”。
主题:
- 直接提示注入
- 间接提示注入
- 隐藏指令
- 基于文档的攻击
- HTML/Markdown注入
- 越狱模式
- 上下文覆盖攻击
- 角色混淆攻击
检测策略:
- 关键词启发式
- 语义分类
- 提示检查
- 指令边界强制
- 允许/拒绝策略
- AI感知的正则表达式
动手实验:
- 攻击聊天机器人
- 绕过简单过滤器
- 构建分层检测
模块4 — AI感知的WAF规则
实验:实验03 — 03-WAF基础
WAF规则如何适应AI系统。
- 主题:
- 保护LLM端点
- 推理API保护
- 令牌感知的速率限制
- 提示大小检查
- AI特有的签名
- 对话异常检测
- 多轮滥用模式
- 模型枚举尝试
- 推理抓取
- 钱包耗尽保护
示例:
- 保护/v1/chat/completions
- 防御流式API
- 阻止递归代理调用
模块5 — 保护RAG管道
实验:实验04 — 04-RAG安全
最大的新攻击面之一。
主题:
- 向量数据库威胁
- 嵌入投毒
- 恶意PDF/文档
- 检索操纵
- 语义投毒
- 文档中的隐藏指令
- 跨文档污染
- 通过检索的数据泄露
防御措施:
- 摄入净化
- 信任评分
- 元数据隔离
- 文档来源
- 检索策略
- 分段
案例研究:“上传一个被投毒的PDF并接管AI助手。”
模块6 — 代理式AI安全
实验:实验05 — 05-代理安全
事情变得危险的地方。
主题:
- 过度代理
- 工具滥用
- API链式调用
- 自主循环
- 权限提升
- 内存投毒
- 间接工具执行
- 代理冒充
- 凭证泄露
- 多代理攻击
防御措施:
- 代理的最小权限
- 审批门
- 运行时策略引擎
- 沙盒
- 范围凭证
- 工具白名单
- 人在环中
这是管理者通常最关心的部分,因为风险会影响到业务运营。
模块7 — AI的API安全
实验:实验06 — 06-钱包耗尽
AI系统重度依赖API。
主题:
- API网关
- GraphQL AI风险
- MCP/API滥用
- JWT保护
- AI插件安全
- 代理身份验证
- 委托授权
- 秘密管理
- 签名提示
- AI的API清单
结合:OWASP API安全Top 10
模块8 — 检测工程与SOC集成
实验:实验07 — 07-检测
操作防御。
主题:
- AI遥测
- 提示日志
- 令牌分析
- 异常检测
- 语义SIEM管道
- AI攻击指标
- LLM滥用的威胁狩猎
- AI运行时可观测性
示例:
- 检测越狱活动
- 发现自动代理滥用
- 识别模型抓取
模块9 — 云WAF与AI安全
实验:无 — 互动回顾/讨论
供应商特定的实现。
主题:
- AWS WAF for AI API
- Azure WAF
- Cloudflare AI网关
- API网关
- Envoy AI过滤
- Kong AI网关
- NGINX AI安全模式
比较:
- 传统WAF vs AI网关 vs 应用层防护栏
- 基于代理的 vs 语义过滤
模块10 — 构建分层AI防御
实验:实验08 — 08-分层防御
重要的哲学结论:
没有任何单一防护层可以保护AI(尤其是WAF,单独使用)。
学员构建分层模型:
- WAF
- API网关
- AI网关
- 防护栏
- 运行时监控
- 身份/授权
- 沙盒
- 人工审批
- 可观测性
- 事件响应
这与“多层安全”模型高度一致。
模块 ↔ 实验映射
实验按模块顺序进行。
本课程有10个模块,但只有8个实验:模块2和9为互动回顾/讨论,无实验。
每个实验在本大纲中均标有其所属模块。
- 实验01 (模块1)
- 文件夹: 01-介绍
- 标题: 探索AI系统 — 网络上的内容
- 实验02 (模块3)
- 文件夹: 02-提示注入
- 标题: 攻击聊天机器人并绕过简单过滤
- 实验03 (模块4)
- 文件夹: 03-WAF基础
- 标题: 构建AI感知的WAF规则
- 实验04 (模块5)
- 文件夹: 04-RAG安全
- 标题: 投毒RAG管道
- 实验05 (模块6)
- 文件夹: 05-代理安全
- 标题: 保护自主代理
- 实验06 (模块7)
- 文件夹: 06-钱包耗尽
- 标题: 检测钱包耗尽攻击
- 实验07 (模块8)
- 文件夹: 07-检测
- 标题: 在日志中监控AI滥用模式
- 实验08 (模块10)
- 文件夹: 08-分层防御
- 标题: 构建分层AI防御架构
结业项目
学员将防御一个模拟的企业AI助手。
攻击者尝试:
- 提示注入
- 工具滥用
- 凭证窃取
- 检索投毒
- 过度API消耗
- 代理升级
团队将构建:
- WAF规则
- AI网关策略
- 运行时检测
- 防护栏
- 事件响应
要求
- 学员应具备HTTP/API安全、代理/反向代理、身份验证、OWASP Top 10、REST API和基本云网络知识
受众
- 安全工程师与应用安全
- SOC分析师与检测工程师
- API安全工程师
- 云/API/平台安全
- DevSecOps工程师
- 安全架构师
- WAF/网络安全专家
- AI平台工程师
客户评论 (2)
我非常喜欢学习关于AI攻击的内容,以及那些可以开始实践并积极用于安全测试的工具。我学到了很多之前不了解的知识,课程也达到了我的期望。培训中我最喜欢的部分是Comet Browser,它的功能让我感到惊叹。这绝对是我会进一步研究的内容。总体来说,这是一门很棒的课程,我很享受学习所有OWASP GenAI Top 10的内容。
Patrick Collins - Optum
课程 - OWASP GenAI Security
机器翻译
他的专业知识以及他在我们面前展示的方式
Miroslav Nachev - PUBLIC COURSE
课程 - Cybersecurity in AI Systems
机器翻译