机器学习安全与AI红队演练 培训
人工智能系统引入了新型攻击面：提示注入、数据投毒、模型提取、对抗性输入以及供应链泄露。传统的应用安全虽有必要，但尚不足够。机器学习安全需要理解经典漏洞类别及针对AI的特定威胁，包括《OWASP LLM应用十大风险》。
本讲师主导的现场培训（线上或线下）面向那些需要识别、测试并防御针对机器学习模型和大型语言模型驱动应用程序攻击的安全工程师与机器学习工程师。
完成培训后，学员将能够：
- 在机器学习的整个生命周期中，从训练到推理阶段对AI系统进行威胁建模。
- 对LLM应用执行红队演练，包括提示注入和越狱尝试。
- 检测和防御数据投毒、模型提取及成员推断攻击。
- 将《OWASP LLM应用十大风险》应用于实际部署场景。
- 实施输入验证、输出过滤以及护栏策略。
- 对模型制品与依赖关系进行供应链安全评估。
- 制定用于持续验证的AI安全测试手册。
课程形式
- 互动式讲座与讨论。
- 大量的练习与实践操作。
- 在实时实验室环境中进行动手实现。
课程定制选项
- 如需申请定制化培训，请与我们联系安排。
课程大纲
AI威胁态势
- 为何AI安全有所不同：非确定性、不透明的推理逻辑、提示即攻击面。
- 攻击分类法：训练时、推理时与供应链攻击。
- 机器学习对手模型：谁对AI系统发动攻击，以及原因。
OWASP LLM应用十大风险
- 提示注入：直接和间接的攻击向量。
- 不安全的输出处理与跨插件请求伪造。
- 训练数据投毒及供应链漏洞。
- 模型拒绝服务、敏感信息泄露及过度权限。
- 动手实验：针对测试应用利用各OWASP类别的攻击方法。
提示注入与越狱红队演练
- 注入技术分类法：直接、间接、多轮及多模态。
- 使用Giskard、Garak及自定义模糊测试工具进行自动化红队演练。
- 越狱分类与防御评估。
- 构建用于持续LLM安全测试的红队框架。
模型级攻击与防御
- 模型提取：通过API查询窃取模型权重和功能。
- 成员推断：确定数据是否在训练集中。
- 对抗样本：能够欺骗分类器和嵌入的微扰。
- 数据投毒：污染训练数据以植入后门或降低性能。
输入与输出安全控制
- 超越传统Web防御的输入清理。
- 输出过滤：毒性检测、个人身份信息泄露以及幻觉代码执行。
- 将护栏作为安全基础设施：NeMo、Guardrails AI及自定义策略。
- 结构化输出强制执行作为安全边界。
AI供应链安全
- 模型溯源：验证模型的真实性和完整性。
- 扫描机器学习框架和模型格式的依赖关系。
- 安全的模型服务：沙箱化、网络隔离及最小权限访问。
- 筛选微调模型和社区模型中的嵌入恶意软件。
AI系统的运营安全
- 针对模型端点、向量存储和智能体工具的访问控制。
- 对每次模型交互和决策进行审计日志记录。
- 针对特定AI泄露的事件响应：当模型本身受到攻击时如何应对。
- 针对ML管道的CI/CD中的持续安全测试。
构建AI安全项目
- AI安全成熟度模型及路线图。
- 将AI安全整合到现有的应用程序安全和云安全项目中。
- AI系统的治理框架及新兴法规。
- 创建并维护组织内部的AI安全手册。
要求
- 具有在生产环境中部署机器学习模型或LLM应用程序的经验。
- 熟悉认证、授权和威胁建模等安全概念。
- 具备Python技能，以进行对抗性测试练习。
目标受众
- 扩展到AI/ML威胁面的安全工程师。
- 负责模型安全性和健壮性的机器学习工程师。
- 将AI系统纳入其测试范围的红队成员。
需要帮助选择合适的课程吗？
china@nobleprog.com 或拨打 400 6116 540
机器学习安全与AI红队演练 培训 - 询价
机器学习安全与AI红队演练 - 问询
即将举行的公开课程
相关课程
ISACA AI安全管理高级认证 (AAISM)
21 小时AAISM是用于评估、治理和管理人工智能系统安全风险的高级框架。
本课程为讲师引导的线上或线下培训，旨在帮助高级专业人士在企业AI环境中实施有效的安全控制措施和治理实践。
完成本课程后，参与者将能够：
- 使用业界公认的方法评估AI安全风险。
- 为负责任的AI部署实施治理模型。
- 将AI安全策略与组织目标及监管要求对齐。
- 增强AI驱动业务中的韧性和问责制。
课程形式
- 由专家分析支持的互动式讲座。
- 实践工作坊及基于评估的活动。
- 使用真实世界AI治理场景的应用练习。
课程定制选项
- 如需根据您组织的AI策略定制培训，请联系我们进行课程定制。
企业领导者的AI治理、合规与安全
14 小时本课程由讲师主导，提供线上或线下培训，面向中级企业领导者，旨在帮助他们了解如何负责任地治理和保障AI系统，并遵守新兴的全球框架，如欧盟AI法案、GDPR、ISO/IEC 42001和美国AI行政命令。
通过本培训，参与者将能够：
- 了解跨部门使用AI的法律、伦理和监管风险。
- 解读并应用主要的AI治理框架（欧盟AI法案、NIST AI RMF、ISO/IEC 42001）。
- 为企业中的AI部署建立安全、审计和监督政策。
- 制定第三方和内部AI系统的采购与使用指南。
AI 驱动的观测性：从日志到基于大语言模型的洞察
14 小时在 中国（线上或线下）进行的这场由讲师引导的实时培训，旨在帮助希望将大语言模型 (LLM) 和 AI 集成到其监控、告警及事件分析工作流中的观测性和 SRE 工程师。
AIOps实战：事件预测与根因自动化
14 小时AIOps（IT运营人工智能）正越来越多地用于在事件发生前进行预测，并自动化根因分析（RCA），以最大限度地减少停机时间并加速问题解决。
本次由讲师指导的培训（线上或线下）面向高级IT专业人员，旨在帮助他们使用AIOps工具和机器学习模型，实施预测分析、自动化修复，并设计智能RCA工作流。
培训结束后，参与者将能够：
- 构建并训练ML模型，以检测导致系统故障的模式。
- 基于多源日志和指标关联，自动化RCA工作流。
- 将告警和修复流程集成到现有平台中。
- 在生产环境中部署和扩展智能AIOps管道。
课程形式
- 互动式讲座与讨论。
- 大量练习与实践。
- 在实时实验室环境中进行实际操作。
课程定制选项
- 如需为本课程定制培训，请联系我们进行安排。
AIOps基础：监控、关联与智能告警
14 小时AIOps（IT运营的人工智能）是一种应用机器学习和分析技术来自动化并改进IT运营的实践，特别是在监控、事件检测和响应方面。
本课程为讲师指导的培训（线上或线下），面向中级IT运营专业人员，旨在帮助他们实施AIOps技术，关联指标和日志，减少告警噪音，并通过智能自动化提高可观测性。
培训结束后，学员将能够：
- 理解AIOps平台的原理和架构。
- 通过日志、指标和跟踪数据关联，识别根本原因。
- 通过智能过滤和噪音抑制，减少告警疲劳。
- 使用开源或商业工具，自动监控和响应事件。
课程形式
- 互动讲座与讨论。
- 大量练习与实践。
- 在实时实验室环境中进行实操。
课程定制选项
- 如需为本课程定制培训，请联系我们安排。
使用开源工具构建AIOps管道
14 小时一个完全使用开源工具构建的AIOps管道，让团队能够为生产环境中的可观测性、异常检测和智能警报设计成本效益高且灵活的解决方案。
这项由讲师指导的培训（线上或线下）针对希望使用Prometheus、ELK、Grafana和自订ML模型构建和部署端到端AIOps管道的高级工程师。
在本培训结束时，参与者将能够：
- 仅使用开源组件设计AIOps架构。
- 从日志、指标和追踪中收集并标准化数据。
- 应用ML模型来检测异常并预测事件。
- 使用开源工具自动化警报和修复。
课程形式
- 互动式讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行动手实作。
课程定制选项
- 如需为本课程定制培训，请联系我们安排。
公共部门的人工智能风险管理与安全
7 小时人工智能（AI）为政府机构和部门引入了新的运营风险、治理挑战和网络安全问题。
本课程由讲师主导，提供线上或线下培训，面向公共部门的IT和风险专业人员，这些人员对AI经验有限，但希望了解如何在政府或监管背景下评估、监控和保护AI系统。
培训结束后，学员将能够：
- 解释与AI系统相关的关键风险概念，包括偏见、不可预测性和模型漂移。
- 应用AI特定的治理和审计框架，如NIST AI RMF和ISO/IEC 42001。
- 识别针对AI模型和数据管道的网络安全威胁。
- 为AI部署建立跨部门的风险管理计划和政策一致性。
课程形式
- 互动讲座和讨论公共部门的使用案例。
- AI治理框架练习和政策映射。
- 基于场景的威胁建模和风险评估。
课程定制选项
- 如需定制本课程，请联系我们进行安排。
AI安全：面向安全团队
35 小时本课程提供了保护现代AI驱动应用程序、API、副驾驶和自主代理的实用介绍。学员将了解AI安全与传统Web安全的区别，探索常见的AI特有威胁（如提示注入、RAG投毒和代理滥用），并学习如何使用分层防御（包括WAF、AI网关、API安全和防护栏）保护AI系统。通过动手实验和真实案例，学员将掌握识别AI攻击模式、保护基于LLM的应用程序以及为生产环境部署有效运行时防御的技能。
AI信任、风险与安全管理（AI TRiSM）简介
21 小时本课程为讲师指导的中国（线上或线下）培训，面向希望了解并在其组织中实施AI TRiSM的初级到中级IT专业人员。
培训结束后，学员将能够：
- 掌握AI信任、风险与安全管理的关键概念和重要性。
- 识别并缓解与AI系统相关的风险。
- 实施AI安全的最佳实践。
- 了解AI的法规合规性和伦理考量。
- 制定有效的AI治理和管理策略。
构建安全且负责任的大语言模型应用
14 小时本次由讲师指导的培训在中国（线上或线下）面向中高级AI开发者、架构师和产品经理，旨在帮助他们识别和缓解与LLM应用相关的风险，包括提示注入、数据泄露和未经过滤的输出，同时融入安全控制措施，如输入验证、人工监督和输出防护。
通过本次培训，参与者将能够：
- 理解基于LLM系统的核心漏洞。
- 将安全设计原则应用于LLM应用架构。
- 使用如Guardrails AI和LangChain等工具进行验证、过滤和安全性控制。
- 将沙盒、红队测试和人工审核等技术集成到生产级流程中。
构建安全的AI应用
21 小时本课程教授软件开发人员如何从设计上安全地构建AI驱动的应用。学员学习如何保护聊天机器人、副驾驶、RAG管道和AI代理免受提示注入、数据中毒、工具滥用、秘密泄露和不安全模型输出等AI特定威胁。课程涵盖安全提示设计、RAG安全性、最小权限访问、护栏和红队测试，帮助开发者构建在真实环境中安全、可靠和弹性的AI功能。
Enterprise AIOps with Splunk, Moogsoft, and Dynatrace
14 小时Enterprise AIOps 平台，如 Splunk、Moogsoft 和 Dynatrace，提供了强大的功能，能够在大规模 IT 环境中检测异常、关联警报并自动化响应。
本课程为讲师指导的培训（线上或线下），面向希望将 AIOps 工具集成到其现有可观测性堆栈和操作工作流中的中级企业 IT 团队。
通过本培训，参与者将能够：
- 配置并将 Splunk、Moogsoft 和 Dynatrace 集成到统一的 AIOps 架构中。
- 使用 AI 驱动的分析，关联分布式系统中的指标、日志和事件。
- 通过内置和自定义工作流，自动化事件检测、优先级排序和响应。
- 优化性能，减少 MTTR，并在企业规模上提高操作效率。
课程形式
- 互动式讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行实际操作。
课程定制选项
- 如需为本课程申请定制培训，请联系我们安排。
实施 AIOps 与 Prometheus、Grafana 及 ML
14 小时Prometheus 和 Grafana 是现代基础设施中广泛采用的可观测性工具，而机器学习通过提供预测性和智能化的洞察，增强了这些工具，以自动化运维决策。
本次由讲师指导的培训（线上或线下）面向中级可观测性专业人员，旨在通过整合 AIOps 实践，使用 Prometheus、Grafana 和机器学习技术，实现监控基础设施的现代化。
在培训结束时，参与者将能够：
- 配置 Prometheus 和 Grafana，以实现跨系统和服务的可观测性。
- 收集、存储和可视化高质量的时间序列数据。
- 应用机器学习模型进行异常检测和预测。
- 基于预测性洞察构建智能告警规则。
课程形式
- 互动式讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行实际操作。
课程定制选项
- 如需为此课程定制培训，请联系我们安排。
LLMOps：生产环境中的大语言模型运营与治理
14 小时本在中国（线上或线下）举办的由讲师主导的现场培训，面向需要构建大规模支持大语言模型应用的稳健运营管道的机器学习工程师和平台团队。
