安全可靠的智能体AI：治理、身份与红队测试 培训

基础：智能体AI的威胁模型

• 智能体威胁类型：滥用、权限提升、数据泄露和供应链风险
• 针对自主智能体的 adversary 画像和攻击者能力
• 映射智能体的资产、信任边界和关键控制点

治理、策略和风险管理

• 智能体系统的治理框架（角色、职责、审批门）
• 策略设计：可接受使用、升级规则、数据处理和可审计性
• 合规考虑和审计证据收集

智能体的非人类身份与认证

• 为智能体设计身份：服务账户、JWT和短期凭证
• 最小权限访问模式和即时凭证
• 身份生命周期、轮换、委派和撤销策略

访问控制、机密和数据保护

• 细粒度访问控制模型和基于能力的智能体模式
• 机密管理、传输和静态加密及数据最小化
• 保护敏感知识源和PII免受未经授权的智能体访问

可观测性、审计和事件响应

• 设计智能体行为的遥测：意图追踪、命令日志和来源
• SIEM集成、告警阈值和取证准备
• 针对智能体相关事件和遏制的 runbook 和 playbook

红队测试智能体系统

• 规划红队演练：范围、交战规则和安全故障转移
• 对抗技术：提示注入、工具滥用、思维链操纵和API滥用
• 执行受控攻击并衡量暴露和影响

加固和缓解措施

• 工程控制：响应限制、能力门控和沙箱化
• 策略和编排控制：审批流程、人在回路和治理钩子
• 模型和提示级防御：输入验证、规范化和输出过滤器

安全智能体部署的运营化

• 部署模式：分阶段、金丝雀和渐进式智能体发布
• 变更控制、测试管道和部署前安全检查
• 跨职能治理：安全、法律、产品和运维 playbook

顶点项目：红队/蓝队演练

• 对沙箱化智能体环境执行模拟红队攻击
• 作为蓝队，使用控制和遥测进行防御、检测和修复
• 展示发现、修复计划和策略更新

总结和后续步骤