感谢您发送咨询!我们的团队成员将很快与您联系。
感谢您发送预订!我们的团队成员将很快与您联系。
课程大纲
离线EXO部署
- 使用EXO_OFFLINE防止运行时访问互联网。
- 从可信的内部镜像预加载模型到EXO_MODELS_READ_ONLY_DIRS。
- 使用SHA-256校验和和签名的模型卡片验证模型权重完整性。
- 在无HuggingFace依赖的隔离网络中运行EXO。
仪表板和API访问控制
- 安装并配置带有TLS终端的反向代理(nginx、Caddy)。
- 为EXO仪表板和REST API实施基于角色的访问控制。
- 使用macOS钥匙串或Linux pass存储API认证密钥。
- 限制管理端点到特定的源IP范围。
集群隔离与网络安全
- 使用EXO_LIBP2P_NAMESPACE和VLAN分段EXO集群。
- 为EXO端口配置主机防火墙(macOS应用防火墙、iptables、nftables)。
- 防止未经授权的设备发现和恶意节点注入。
- 在RDMA不可用时加密节点间的libp2p流量。
模型治理与来源
- 构建包含批准模型列表和元数据的内部模型注册表。
- 标记并版本化量化权重(4位、8位)与源检查点。
- 强制执行仅加载特定HuggingFace仓库或内部工件。
- 记录模型来源、许可条款和可接受使用策略。
审计日志与合规
- 配置EXO日志转发到不可变的审计跟踪(SIEM、WORM存储)。
- 将API调用日志与用户身份和时间戳关联。
- 捕获模型实例创建、删除和推理请求事件。
- 为内部和外部审计生成定期合规报告。
威胁建模与事件响应
- 识别威胁:通过模型输出进行数据泄露、提示注入、侧信道泄漏。
- 实施提示监控和内容过滤管道。
- 创建集群被入侵场景的事件响应手册。
- 隔离受影响的节点,保留取证日志并重建干净环境。
物理安全与硬件边界
- 保护Thunderbolt端口,防止未经授权的RDMA电缆连接。
- 在适用的情况下使用安全飞地和Apple Silicon硬件认证。
- 控制对集群Mac和共享存储的物理访问。
- 记录硬件生命周期和退役程序。
法规考虑
- 将EXO部署映射到GDPR、HIPAA和SOC 2要求。
- 通过保持推理在本地来维护数据驻留。
- 记录供应商供应链风险(MLX、EXO、模型权重)。
- 为EU AI Act第53条等AI治理框架做准备。
要求
- 具备EXO或其他本地LLM运行时的使用经验。
- 了解Unix文件系统权限和网络ACL。
- 熟悉TLS/SSL证书管理和加密基础知识。
受众
- 安全工程师。
- 合规官。
- 处理敏感数据的AI基础设施管理员。
14 小时
客户评论 (1)
培训师对Fortigate非常了解,内容讲解得非常出色。非常感谢Soroush。
Colin Donohue - Technological University of the Shannon: Midlands Midwest
课程 - FortiGate 7.4 Administration
机器翻译