联系我们

课程大纲

第1天
现代AI代理的解剖

超越聊天机器人,代理作为自主推理和行动系统

反应式、主动式、混合式和目标导向式代理范式

核心组件:感知、规划、记忆、工具使用、行动

单代理与多代理设计的权衡

代理框架与现代技术栈

LangChain、LlamaIndex、AutoGen、CrewAI及其权衡

与JADE和SPADE等经典框架的比较

根据生产需求选择框架

工具调用、函数调用和结构化输出

实践:使用工具调用搭建一个Python代理

多代理系统架构

集中式、分布式、混合式和分层式MAS设计

FIPA ACL、消息传递及其现代等效物

协调模式:规划、协商、同步

代理群体中的涌现行为与自组织

代理的决策与学习

合作与竞争代理交互的博弈论

多代理环境中的强化学习

代理之间的迁移学习与知识共享

协调代理之间的冲突解决与信任

第2天
多模态代理基础

多模态AI作为跨文本、图像、语音和视频的统一工作流程

领先的多模态模型:GPT-4 Vision、Gemini、Claude、Whisper

在代理的推理循环中结合多模态的融合技术

多模态管道中的延迟、成本和准确性权衡

构建感知层

代理的图像处理:分类、字幕生成、目标检测

使用Whisper ASR进行语音识别与流式转录

文本到语音合成与自然语音交互

将感知输出连接到LLM驱动的推理和工具选择

实践——在Python中构建多模态代理

定义代理的任务、上下文窗口和工具库

端到端连接GPT-4 Vision和Whisper API

实现记忆、状态和对话管理

安全添加产生现实世界副作用的工具调用

实践——编排多代理系统

使用AutoGen或CrewAI组合专用代理

定义角色、职责和代理间通信协议

模拟环境中的资源分配与协调

记录代理推理、工具调用和决策以便检查和审计

第3天
生产AI代理的威胁面

与传统软件相比,代理AI的独特脆弱性

攻击面:数据、模型、提示、工具、输出和接口层

具有自主工具使用的代理系统的威胁建模

与传统网络安全实践的比较

对抗攻击实践

对抗样本和扰动方法:FGSM、PGD、DeepFool

白盒与黑盒攻击场景

模型反演和成员推理攻击

训练期间的数据投毒和后门注入

基于LLM的代理中的提示注入、越狱和工具滥用

防御技术与模型硬化

对抗训练与数据增强策略

防御蒸馏及其他鲁棒性技术

输入预处理、梯度掩码和正则化

差分隐私、噪声注入和隐私预算

分布式训练中的联邦学习与安全聚合

对抗鲁棒性工具箱实践

对第2天构建的多模态代理进行攻击模拟

在扰动下测量鲁棒性并量化性能下降

迭代应用防御并重新评估攻击成功率

压力测试工具调用路径和提示注入向量

第4天
AI风险管理框架

NIST AI风险管理框架:治理、映射、测量、管理

ISO/IEC 42001及新兴的AI特定标准

将AI风险映射到现有企业GRC框架

AI问责性、可审计性和文档要求

代理系统的法规合规性

欧盟AI法案:风险等级、禁止用途和高风险系统的义务

GDPR和CCPA对代理数据管道的影响

美国关于安全、可靠和可信AI的行政命令

针对金融、医疗和公共服务的行业特定指南

第三方风险与供应商AI工具使用

伦理、偏见与可解释性

代理感知和推理中的偏见检测与缓解

作为安全相关属性的可解释性与透明度

公平性、下游危害与负责任部署

设计包容、可审计的代理行为

生产部署、监控与事件响应

单代理与多代理系统的安全部署模式

对漂移、异常和滥用的持续监控

代理行动的日志记录、审计跟踪和取证准备

AI安全事件响应手册与恢复

真实世界AI漏洞案例研究与经验教训

总结与综合

回顾整个课程中构建的多模态多代理系统

端到端管道回顾:设计、构建、安全、治理、部署

系统对NIST AI RMF功能的自我评估

展望代理AI和AI安全的新兴趋势

总结与下一步

要求

目标受众

为生产用途构建代理系统的AI工程师和架构师。负责金融、医疗和咨询等受监管行业中AI保证的网络安全、风险和合规专业人员。将多模态和多代理功能嵌入企业平台的高级开发人员和解决方案负责人。

 28 小时

客户评论 (3)

即将举行的公开课程

课程分类