感谢您发送咨询！我们的团队成员将很快与您联系。
感谢您发送预订！我们的团队成员将很快与您联系。
课程大纲
第 1 天：基础与核心威胁
模块 1：OWASP GenAI 安全项目简介（1 小时）
学习目标：
- 了解从 OWASP 前 10 到 GenAI 特定安全挑战的演变。
- 探索 OWASP GenAI 安全项目生态系统和资源。
- 识别传统应用安全与 AI 安全的关键差异。
涵盖主题：
- OWASP GenAI 安全项目使命和范围概述。
- 威胁防御 COMPASS 框架简介。
- 了解 AI 安全格局和法规要求。
- AI 攻击面与传统 Web 应用漏洞的对比。
实践练习：设置 OWASP 威胁防御 COMPASS 工具并进行初始威胁评估。
模块 2：OWASP 前 10 大 LLM 风险 - 第 1 部分（2.5 小时）
学习目标：
- 掌握前五大关键 LLM 漏洞。
- 了解攻击向量和利用技术。
- 应用实际缓解策略。
涵盖主题：
LLM01：提示注入
- 直接和间接提示注入技术。
- 隐藏指令攻击和跨提示污染。
- 实际示例：越狱聊天机器人和绕过安全措施。
- 防御策略：输入清理、提示过滤、差分隐私。
LLM02：敏感信息泄露
- 训练数据提取和系统提示泄露。
- 通过模型行为分析暴露敏感信息。
- 隐私影响和法规合规考虑。
- 缓解措施：输出过滤、访问控制、数据匿名化。
LLM03：供应链漏洞
- 第三方模型依赖和插件安全。
- 被篡改的训练数据集和模型中毒。
- AI 组件的供应商风险评估。
- 安全模型部署和验证实践。
实践练习：在易受攻击的 LLM 应用上演示提示注入攻击并实施防御措施。
模块 3：OWASP 前 10 大 LLM 风险 - 第 2 部分（2 小时）
涵盖主题：
LLM04：数据和模型中毒
- 训练数据操纵技术。
- 通过中毒输入修改模型行为。
- 后门攻击和数据完整性验证。
- 预防措施：数据验证管道、来源跟踪。
LLM05：不当输出处理
- 对 LLM 生成内容的不安全处理。
- 通过 AI 生成输出进行代码注入。
- 通过 AI 响应进行跨站脚本攻击。
- 输出验证和清理框架。
实践练习：模拟数据中毒攻击并实施稳健的输出验证机制。
模块 4：高级 LLM 威胁（1.5 小时）
涵盖主题：
LLM06：过度代理
- 自主决策风险和边界违规。
- 代理权限和权限管理。
- 意外系统交互和权限升级。
- 实施护栏和人类监督控制。
LLM07：系统提示泄露
- 系统指令暴露漏洞。
- 通过提示泄露凭证和逻辑。
- 提取系统提示的攻击技术。
- 保护系统指令和外部配置。
实践练习：设计具有适当访问控制和监控的安全代理架构。
第 2 天：高级威胁与实施
模块 5：新兴 AI 威胁（2 小时）
学习目标：
- 了解前沿 AI 安全威胁。
- 实施高级检测和预防技术。
- 设计能够抵御复杂攻击的弹性 AI 系统。
涵盖主题：
LLM08：向量和嵌入弱点
- RAG 系统漏洞和向量数据库安全。
- 嵌入中毒和相似性操纵攻击。
- 语义搜索中的对抗性示例。
- 保护向量存储并实施异常检测。
LLM09：错误信息和模型可靠性
- 幻觉检测和缓解。
- 偏见放大和公平性考虑。
- 事实核查和来源验证机制。
- 内容验证和人类监督集成。
LLM10：无限制消耗
- 资源耗尽和拒绝服务攻击。
- 速率限制和资源管理策略。
- 成本优化和预算控制。
- 性能监控和警报系统。
实践练习：构建具有向量数据库保护和幻觉检测的安全 RAG 管道。
模块 6：代理 AI 安全（2 小时）
学习目标：
- 了解自主 AI 代理的独特安全挑战。
- 将 OWASP 代理 AI 分类法应用于实际系统。
- 为多代理环境实施安全控制。
涵盖主题：
- 代理 AI 和自主系统简介。
- OWASP 代理 AI 威胁分类法：代理设计、内存、规划、工具使用、部署。
- 多代理系统安全和协调风险。
- 工具滥用、内存中毒和目标劫持攻击。
- 保护代理通信和决策过程。
实践练习：使用 OWASP 代理 AI 分类法对多代理客户服务系统进行威胁建模练习。
模块 7：OWASP 威胁防御 COMPASS 实施（2 小时）
学习目标：
- 掌握威胁防御 COMPASS 的实际应用。
- 将 AI 威胁评估整合到组织安全计划中。
- 制定全面的 AI 风险管理策略。
涵盖主题：
- 深入探讨威胁防御 COMPASS 方法。
- OODA 循环集成：观察、定向、决定、行动。
- 将威胁映射到 MITRE ATT&CK 和 ATLAS 框架。
- 构建 AI 威胁弹性策略仪表板。
- 与现有安全工具和流程的集成。
实践练习：为 Microsoft Copilot 部署场景使用 COMPASS 完成威胁评估。
模块 8：实践实施与最佳实践（2.5 小时）
学习目标：
- 从零开始设计安全的 AI 架构。
- 为 AI 系统实施监控和事件响应。
- 创建 AI 安全治理框架。
涵盖主题：
安全 AI 开发生命周期：
- AI 应用的安全设计原则。
- LLM 集成的代码审查实践。
- 测试方法和漏洞扫描。
- 部署安全和生产强化。
监控与检测：
- AI 特定的日志记录和监控要求。
- AI 系统的异常检测。
- AI 安全事件的事件响应程序。
- 取证和调查技术。
治理与合规：
- AI 风险管理框架和政策。
- 法规合规考虑（GDPR、AI 法案等）。
- AI 供应商的第三方风险评估。
- AI 开发团队的安全意识培训。
实践练习：为企业 AI 聊天机器人设计完整的安全架构，包括监控、治理和事件响应程序。
模块 9：工具与技术（1 小时）
学习目标：
- 评估和实施 AI 安全工具。
- 了解当前 AI 安全解决方案格局。
- 构建实际的检测和预防能力。
涵盖主题：
- AI 安全工具生态系统和供应商格局。
- 开源安全工具：Garak、PyRIT、Giskard。
- AI 安全和监控的商业解决方案。
- 集成模式和部署策略。
- 工具选择标准和评估框架。
实践练习：演示 AI 安全测试工具并进行实施规划。
模块 10：未来趋势与总结（1 小时）
学习目标：
- 了解新兴威胁和未来的安全挑战。
- 制定持续学习和改进策略。
- 创建组织 AI 安全计划的行动计划。
涵盖主题：
- 新兴威胁：深度伪造、高级提示注入、模型反转。
- 未来 OWASP GenAI 项目发展和路线图。
- 构建 AI 安全社区和知识共享。
- 持续改进和威胁情报集成。
行动计划练习：制定 90 天行动计划，以在参与者的组织中实施 OWASP GenAI 安全实践。
要求
- 对 Web 应用安全原则有基本了解。
- 对 AI/ML 概念有基本熟悉。
- 具备安全框架或风险评估方法经验者优先。
受众
- 网络安全专业人士。
- AI 开发者。
- 系统架构师。
- 合规官。
- 安全从业者。
14 小时
