感谢您发送咨询！我们的团队成员将很快与您联系。
感谢您发送预订！我们的团队成员将很快与您联系。
课程时长 14 小时
课程大纲
AI威胁态势
- 为何AI安全有所不同：非确定性、不透明的推理逻辑、提示即攻击面。
- 攻击分类法：训练时、推理时与供应链攻击。
- 机器学习对手模型：谁对AI系统发动攻击，以及原因。
OWASP LLM应用十大风险
- 提示注入：直接和间接的攻击向量。
- 不安全的输出处理与跨插件请求伪造。
- 训练数据投毒及供应链漏洞。
- 模型拒绝服务、敏感信息泄露及过度权限。
- 动手实验：针对测试应用利用各OWASP类别的攻击方法。
提示注入与越狱红队演练
- 注入技术分类法：直接、间接、多轮及多模态。
- 使用Giskard、Garak及自定义模糊测试工具进行自动化红队演练。
- 越狱分类与防御评估。
- 构建用于持续LLM安全测试的红队框架。
模型级攻击与防御
- 模型提取：通过API查询窃取模型权重和功能。
- 成员推断：确定数据是否在训练集中。
- 对抗样本：能够欺骗分类器和嵌入的微扰。
- 数据投毒：污染训练数据以植入后门或降低性能。
输入与输出安全控制
- 超越传统Web防御的输入清理。
- 输出过滤：毒性检测、个人身份信息泄露以及幻觉代码执行。
- 将护栏作为安全基础设施：NeMo、Guardrails AI及自定义策略。
- 结构化输出强制执行作为安全边界。
AI供应链安全
- 模型溯源：验证模型的真实性和完整性。
- 扫描机器学习框架和模型格式的依赖关系。
- 安全的模型服务：沙箱化、网络隔离及最小权限访问。
- 筛选微调模型和社区模型中的嵌入恶意软件。
AI系统的运营安全
- 针对模型端点、向量存储和智能体工具的访问控制。
- 对每次模型交互和决策进行审计日志记录。
- 针对特定AI泄露的事件响应：当模型本身受到攻击时如何应对。
- 针对ML管道的CI/CD中的持续安全测试。
构建AI安全项目
- AI安全成熟度模型及路线图。
- 将AI安全整合到现有的应用程序安全和云安全项目中。
- AI系统的治理框架及新兴法规。
- 创建并维护组织内部的AI安全手册。
要求
- 具有在生产环境中部署机器学习模型或LLM应用程序的经验。
- 熟悉认证、授权和威胁建模等安全概念。
- 具备Python技能，以进行对抗性测试练习。
目标受众
- 扩展到AI/ML威胁面的安全工程师。
- 负责模型安全性和健壮性的机器学习工程师。
- 将AI系统纳入其测试范围的红队成员。
客户评论 (1)
库存管理，并识别AI内部的不同风险敞口
Gary Cook - Cybersecurity and Information Technology Risk Division
课程 - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
机器翻译
