感谢您发送咨询！我们的团队成员将很快与您联系。
感谢您发送预订！我们的团队成员将很快与您联系。
课程大纲
离线EXO部署
- 使用EXO_OFFLINE防止运行时访问互联网。
- 从可信的内部镜像预加载模型到EXO_MODELS_READ_ONLY_DIRS。
- 使用SHA-256校验和和签名的模型卡片验证模型权重完整性。
- 在没有HuggingFace依赖的情况下在隔离网络中运行EXO。
仪表板和API访问控制
- 安装并配置带有TLS终端的反向代理（nginx、Caddy）。
- 为EXO仪表板和REST API实施基于角色的访问控制。
- 使用macOS钥匙串或Linux pass存储API身份验证的密钥。
- 将管理端点限制在特定的源IP范围内。
集群隔离与网络安全
- 使用EXO_LIBP2P_NAMESPACE和VLAN对EXO集群进行分段。
- 为EXO端口配置主机防火墙（macOS应用防火墙、iptables、nftables）。
- 防止未经授权的设备发现和恶意节点注入。
- 在RDMA不可用时加密节点间的libp2p流量。
模型治理与来源
- 构建包含批准模型列表和元数据的内部模型注册表。
- 标记并版本化量化权重（4位、8位）以及源检查点。
- 强制仅加载特定的HuggingFace仓库或内部工件。
- 记录模型血统、许可条款和可接受的使用策略。
审计日志与合规性
- 配置EXO日志转发到不可变的审计跟踪（SIEM、WORM存储）。
- 将API调用日志与用户身份和时间戳关联。
- 捕获模型实例的创建、删除和推理请求事件。
- 为内部和外部审计生成定期合规报告。
威胁建模与事件响应
- 识别威胁：通过模型输出进行数据泄露、提示注入、侧信道泄露。
- 实施提示监控和内容过滤管道。
- 为集群被入侵场景创建事件响应手册。
- 隔离受影响的节点，保留取证日志并重建干净的环境。
物理安全与硬件边界
- 保护Thunderbolt端口，防止未经授权的RDMA电缆连接。
- 在适用的情况下使用安全飞地和Apple Silicon硬件认证。
- 控制对集群Mac和共享存储的物理访问。
- 记录硬件生命周期和退役程序。
法规考虑
- 将EXO部署映射到GDPR、HIPAA和SOC 2要求。
- 通过将推理保留在本地来维护数据驻留。
- 记录供应商供应链风险（MLX、EXO、模型权重）。
- 为EU AI法案第53条等AI治理框架做准备。
要求
- 具备EXO或其他本地LLM运行环境的经验。
- 了解Unix文件系统权限和网络ACL。
- 熟悉TLS/SSL证书管理和加密基础知识。
受众
- 安全工程师。
- 合规官。
- 处理敏感数据的AI基础设施管理员。
14 小时
客户评论 (1)
培训师对Fortigate非常了解，内容讲解得非常出色。非常感谢Soroush。
Colin Donohue - Technological University of the Shannon: Midlands Midwest
课程 - FortiGate 7.4 Administration
机器翻译
