联系我们

课程大纲

第1天
现代AI代理的解剖

超越聊天机器人,代理作为自主推理和行动系统

反应式、主动式、混合式和目标导向式代理范式

核心组件:感知、规划、记忆、工具使用、行动

单代理与多代理设计的权衡

代理框架与现代技术栈

LangChain、LlamaIndex、AutoGen、CrewAI及其权衡

与JADE和SPADE等经典框架的比较

根据生产需求选择框架

工具调用、函数调用和结构化输出

实践:使用工具调用搭建一个Python代理

多代理系统架构

集中式、分布式、混合式和分层式MAS设计

FIPA ACL、消息传递及其现代等效方案

协调模式:规划、协商、同步

代理群体中的涌现行为与自组织

代理中的决策与学习

用于合作与竞争代理交互的博弈论

多代理环境中的强化学习

跨代理的迁移学习与知识共享

协调代理之间的冲突解决与信任

第2天
多模态代理基础

多模态AI作为跨文本、图像、语音和视频的统一工作流程

领先的多模态模型:GPT-4 Vision、Gemini、Claude、Whisper

在代理的推理循环中融合多模态的技术

多模态管道中的延迟、成本和准确性权衡

构建感知层

代理的图像处理:分类、字幕生成、目标检测

使用Whisper ASR进行语音识别与流式转录

文本到语音合成与自然语音交互

将感知输出连接到LLM驱动的推理与工具选择

实践 - 在Python中构建多模态代理

定义代理的任务、上下文窗口和工具库

端到端连接GPT-4 Vision和Whisper API

实现记忆、状态和对话管理

添加能够安全产生现实世界副作用的工具调用

实践 - 协调多代理系统

使用AutoGen或CrewAI组合专用代理

定义角色、职责和代理间通信协议

在模拟环境中进行资源分配与协调

记录代理的推理、工具调用和决策以供检查和审计

第3天
生产AI代理的威胁面

与传统软件相比,代理AI的独特脆弱性

攻击面:数据、模型、提示、工具、输出和接口层

基于自主工具使用的代理系统的威胁建模

将AI网络安全实践与传统网络安全进行比较

对抗攻击实践

对抗样本与扰动方法:FGSM、PGD、DeepFool

白盒与黑盒攻击场景

模型反演与成员推理攻击

训练期间的数据投毒与后门注入

基于LLM的代理中的提示注入、越狱和工具滥用

防御技术与模型硬化

对抗训练与数据增强策略

防御蒸馏与其他鲁棒性技术

输入预处理、梯度掩码与正则化

差分隐私、噪声注入与隐私预算

分布式训练中的联邦学习与安全聚合

对抗鲁棒性工具箱实践

模拟对第2天构建的多模态代理的攻击

在扰动下测量鲁棒性并量化性能下降

迭代应用防御并重新评估攻击成功率

压力测试工具调用路径与提示注入向量

第4天
AI风险管理框架

NIST AI风险管理框架:治理、映射、测量、管理

ISO/IEC 42001与新兴的AI特定标准

将AI风险映射到现有的企业GRC框架

AI责任、可审计性与文档要求

代理系统的法规合规性

欧盟AI法案:风险等级、禁止用途与高风险系统的义务

GDPR与CCPA对代理数据管道的影响

美国关于安全、可靠和可信AI的行政命令

金融、医疗和公共服务的行业特定指南

第三方风险与供应商AI工具使用

伦理、偏见与可解释性

在代理感知与推理中检测与缓解偏见

可解释性与透明度作为安全相关属性

公平性、下游危害与负责任部署

设计包容且可审计的代理行为

生产部署、监控与事件响应

单代理与多代理系统的安全部署模式

持续监控漂移、异常与滥用

记录、审计轨迹与代理行动的取证准备

AI安全事件响应手册与恢复

真实世界AI漏洞的案例研究与经验教训

总结与展望

回顾课程中构建的多模态多代理系统

端到端管道回顾:设计、构建、安全、治理、部署

根据NIST AI RMF功能进行自我评估

展望代理AI与AI安全的新兴趋势

总结与下一步

要求

目标受众

为生产用途构建代理系统的AI工程师和架构师。负责金融、医疗和咨询等受监管行业中AI保障的网络安全、风险和合规专业人员。将多模态和多代理功能嵌入企业平台的高级开发人员和解决方案负责人。

 28 小时

客户评论 (3)

即将举行的公开课程

课程分类