EXO:端到端本地AI集群部署 培训
EXO是一个开源框架,将Apple Silicon设备连接成一个分布式AI集群,使得可以在本地进行比单台设备容量更大的前沿模型的推理。
本课程由讲师主导,提供线上或线下培训,面向希望在多台Apple Silicon或Linux节点上部署、配置和管理EXO集群以进行私有LLM推理的系统管理员和DevOps工程师。
培训结束后,学员将能够:
- 在macOS和Linux节点上安装和配置EXO。
- 启用自动设备发现并构建多节点集群。
- 启用并验证通过Thunderbolt 5的RDMA,实现超低延迟的设备间通信。
- 在集群设备上部署前沿模型(DeepSeek、Qwen、Llama)。
- 监控集群健康状况并排查常见的部署问题。
课程形式
- 互动讲座与讨论。
- 大量练习与实践。
- 在实时实验室环境中进行动手操作。
课程定制选项
- 如需定制培训,请联系我们进行安排。
课程大纲
EXO与本地AI集群简介
- EXO框架及exo-explore生态系统概述
- 集中式云推理与分布式本地推理的比较
- 架构:libp2p设备发现、MLX后端、仪表盘和API层
- 硬件要求:Apple Silicon(M3 Ultra、M4 Pro/Max)、Thunderbolt 5、共享存储
在macOS上安装EXO
- 设置Xcode、Metal ToolChain和macOS先决条件
- 安装uv、Node.js、Rust nightly工具链
- 安装用于Apple Silicon监控的pinned macmon fork
- 克隆仓库并使用npm构建仪表盘
- 从源码运行EXO并验证localhost:52415仪表盘
在Linux上安装EXO
- 通过apt或Homebrew在Linux上安装依赖项
- 配置uv、Node.js 18+和Rust nightly
- 构建仪表盘并以CPU-only模式运行EXO
- 目录布局:XDG基本目录路径,用于配置、数据、缓存和日志
自动设备发现与集群形成
- 理解基于libp2p的本地网络自动发现
- 使用EXO_LIBP2P_NAMESPACE配置自定义命名空间以实现集群隔离
- 在仪表盘集群视图中验证节点成员资格
- 处理发现失败和网络分段问题
启用Thunderbolt 5上的RDMA
- RDMA架构及99%延迟降低声明
- 在macOS恢复模式下使用rdma_ctl启用RDMA
- Mac Studio上的线缆要求和端口拓扑限制
- 确保所有集群节点的macOS版本一致
- 排查RDMA发现和DHCP配置问题
部署前沿模型
- 使用仪表盘加载并分片DeepSeek v3.1、Qwen3-235B和Llama系列模型
- 通过/instance/previews API端点预览实例放置
- 使用管道或张量并行分片创建模型实例
- 从HuggingFace hub配置自定义模型卡片
监控与故障排除
- 阅读EXO日志并理解分布式跟踪
- 在仪表盘集群视图中解读集群健康状况
- 诊断工作节点故障和重连行为
- 使用EXO_TRACING_ENABLED进行性能瓶颈分析
集群维护与更新
- 更新EXO二进制文件及仪表盘重建流程
- 迁移模型缓存并通过NFS管理预下载模型
- 优雅移除节点并重新平衡工作负载
要求
- 了解网络基础知识(IP、子网划分、防火墙)
- 具备macOS或Linux命令行管理经验
- 熟悉Python包管理(pip/uv)和Node.js工具
受众
- 系统管理员
- DevOps工程师
- 负责本地LLM部署的AI基础设施架构师
需要帮助选择合适的课程吗?
china@nobleprog.com 或拨打 400 6116 540
EXO:端到端本地AI集群部署 培训 - 询价
EXO:端到端本地AI集群部署 - 问询
即将举行的公开课程
相关课程
高级LangGraph:复杂图的优化、调试与监控
35 小时LangGraph 是一个用于构建有状态、多参与者 LLM 应用的框架,它支持将应用构建为具有持久状态和执行控制的可组合图。
本次由讲师主导的培训(线上或线下)面向高级 AI 平台工程师、AI DevOps 和 ML 架构师,旨在帮助他们优化、调试、监控和操作生产级 LangGraph 系统。
通过本培训,参与者将能够:
- 设计和优化复杂的 LangGraph 拓扑结构,以提高速度、降低成本并增强可扩展性。
- 通过重试、超时、幂等性和基于检查点的恢复机制来构建可靠性。
- 调试和追踪图执行过程,检查状态,并系统地复现生产问题。
- 为图添加日志、指标和追踪,部署到生产环境,并监控 SLA 和成本。
课程形式
- 互动式讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行实际操作。
课程定制选项
- 如需定制本课程,请联系我们安排。
使用 Devstral 构建编码代理:从代理设计到工具化
14 小时Devstral 是一个开源框架,旨在构建和运行编码代理,这些代理可以与代码库、开发者工具和 API 交互,以提升工程效率。
本课程由讲师指导,采用线上或线下培训形式,面向中高级 ML 工程师、开发者工具团队以及 SRE,帮助他们使用 Devstral 设计、实现和优化编码代理。
通过本课程,学员将能够:
- 设置和配置 Devstral 以进行编码代理开发。
- 设计用于代码库探索和修改的代理工作流。
- 将编码代理与开发者工具和 API 集成。
- 实施安全和高效代理部署的最佳实践。
课程形式
- 互动式讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行动手操作。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
开源模型运维:使用Devstral和Mistral模型进行自托管、微调和治理
14 小时Devstral 和 Mistral 模型是开源 AI 技术,专为灵活部署、微调和可扩展集成而设计。
本次由讲师指导的培训(线上或线下)面向中级到高级的机器学习工程师、平台团队和研究工程师,旨在帮助他们在生产环境中自托管、微调和管理 Mistral 和 Devstral 模型。
培训结束后,参与者将能够:
- 设置和配置 Mistral 和 Devstral 模型的自托管环境。
- 应用微调技术以提升特定领域的性能。
- 实现版本控制、监控和生命周期治理。
- 确保开源模型的安全性、合规性和负责任的使用。
课程形式
- 互动讲座和讨论。
- 自托管和微调的实践练习。
- 治理和监控管道的实时实验室实施。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
Fiji: 生物技术与毒理学中的图像处理
14 小时本次由讲师指导的培训在中国(线上或线下)举行,面向初学者到中级水平的研究人员和实验室专业人员,旨在帮助他们处理和分析与组织切片、血细胞、藻类及其他生物样本相关的图像。
培训结束后,参与者将能够:
- 熟悉Fiji界面并掌握ImageJ的核心功能。
- 对科学图像进行预处理和增强,以便更好地分析。
- 定量分析图像,包括细胞计数和面积测量。
- 使用宏和插件自动化重复性任务。
- 根据生物研究中的具体需求,自定义图像分析工作流程。
LangGraph在金融领域的应用
35 小时LangGraph 是一个用于构建有状态、多参与者 LLM 应用的框架,通过可组合的图结构实现持久状态和执行控制。
本次由讲师主导的培训(线上或线下)面向中级到高级专业人士,旨在帮助他们设计、实施和运营基于 LangGraph 的金融解决方案,确保其具备适当的治理、可观测性和合规性。
通过本次培训,参与者将能够:
- 设计与监管和审计要求一致的金融专用 LangGraph 工作流。
- 将金融数据标准和本体集成到图状态和工具中。
- 为关键流程实施可靠性、安全性和人工介入控制。
- 部署、监控和优化 LangGraph 系统,以满足性能、成本和 SLA 要求。
课程形式
- 互动式讲座与讨论。
- 大量练习与实践。
- 在实时实验室环境中进行实际操作。
课程定制选项
- 如需定制本课程,请联系我们安排。
LangGraph基础:基于图的LLM提示与链式处理
14 小时LangGraph是一个用于构建图结构LLM应用的框架,支持规划、分支、工具使用、内存和可控执行。
本次由讲师指导的线下或线上培训面向初学者级别的开发者、提示工程师和数据从业者,旨在帮助他们使用LangGraph设计和构建可靠的多步骤LLM工作流。
培训结束后,参与者将能够:
- 解释LangGraph的核心概念(节点、边、状态)及其使用场景。
- 构建支持分支、调用工具和维护内存的提示链。
- 将检索和外部API集成到图工作流中。
- 测试、调试和评估LangGraph应用,确保其可靠性和安全性。
课程形式
- 互动讲座与引导讨论。
- 在沙盒环境中进行指导实验和代码讲解。
- 基于场景的设计、测试和评估练习。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
LangGraph在医疗保健中的应用:受监管环境中的工作流编排
35 小时LangGraph 支持由 LLM 驱动的有状态、多参与者工作流,并能精确控制执行路径和状态持久化。在医疗领域,这些功能对于合规性、互操作性以及构建符合医疗工作流的决策支持系统至关重要。
本次讲师主导的培训(线上或线下)面向中高级专业人员,旨在帮助他们设计、实施和管理基于 LangGraph 的医疗解决方案,同时应对监管、道德和操作挑战。
培训结束后,参与者将能够:
- 设计符合合规性和可审计性的医疗专用 LangGraph 工作流。
- 将 LangGraph 应用与医疗本体和标准(FHIR、SNOMED CT、ICD)集成。
- 在敏感环境中应用可靠性、可追溯性和可解释性的最佳实践。
- 在医疗生产环境中部署、监控和验证 LangGraph 应用。
课程形式
- 互动式讲座与讨论。
- 基于真实案例的实践练习。
- 在实时实验环境中进行实施实践。
课程定制选项
- 如需定制本课程,请联系我们安排。
LangGraph法律应用
35 小时LangGraph是一个用于构建有状态、多参与者LLM应用的框架,它通过可组合的图结构实现持久状态,并对执行过程进行精确控制。
本课程为讲师指导的培训(线上或线下),面向中高级专业人员,旨在帮助他们设计、实施和操作基于LangGraph的法律解决方案,并确保必要的合规性、可追溯性和治理控制。
培训结束后,学员将能够:
- 设计特定于法律的LangGraph工作流程,确保可审计性和合规性。
- 将法律本体和文档标准集成到图状态和处理中。
- 实施护栏、人工审批和可追溯的决策路径。
- 在生产环境中部署、监控和维护LangGraph服务,并确保可观测性和成本控制。
课程形式
- 互动式讲座与讨论。
- 大量练习与实践。
- 在实时实验室环境中进行动手操作。
课程定制选项
- 如需定制本课程,请联系我们进行安排。
使用LangGraph和LLM代理构建动态工作流
14 小时LangGraph是一个用于构建图结构LLM工作流的框架,支持分支、工具使用、内存和可控执行。
本次由讲师主导的培训(线上或线下)面向中级工程师和产品团队,他们希望将LangGraph的图逻辑与LLM代理循环结合,以构建动态、上下文感知的应用程序,如客户支持代理、决策树和信息检索系统。
培训结束后,参与者将能够:
- 设计基于图的工作流,协调LLM代理、工具和内存。
- 实现条件路由、重试和回退,确保稳健执行。
- 将检索、API和结构化输出集成到代理循环中。
- 评估、监控并强化代理行为,确保可靠性和安全性。
课程形式
- 互动讲座和引导讨论。
- 在沙盒环境中进行指导实验和代码讲解。
- 基于场景的设计练习和同行评审。
课程定制选项
- 如需定制本课程,请联系我们进行安排。
LangGraph用于营销自动化
14 小时LangGraph是一个基于图的编排框架,支持条件化、多步骤的LLM和工具工作流,非常适合自动化和个性化内容管道。
本次由讲师指导的培训(线上或线下)面向中级营销人员、内容策略师和自动化开发人员,旨在帮助他们使用LangGraph实现动态、分支的电子邮件营销活动和内容生成管道。
培训结束后,学员将能够:
- 使用条件逻辑设计图结构的内容和电子邮件工作流。
- 集成LLM、API和数据源以实现自动化个性化。
- 在多步骤活动中管理状态、内存和上下文。
- 评估、监控和优化工作流性能和交付结果。
课程形式
- 互动讲座和小组讨论。
- 动手实验,实现电子邮件工作流和内容管道。
- 基于场景的练习,涵盖个性化、分段和分支逻辑。
课程定制选项
- 如需定制本课程,请联系我们进行安排。
Le Chat Enterprise:私有ChatOps、集成与管理控制
14 小时Le Chat Enterprise 是一款私有的 ChatOps 解决方案,为组织提供安全、可定制且受管控的对话式 AI 功能,支持 RBAC、SSO、连接器以及企业应用集成。
本次由讲师主导的培训(线上或线下)面向中级产品经理、IT 负责人、解决方案工程师以及安全/合规团队,旨在帮助他们部署、配置和管理企业环境中的 Le Chat Enterprise。
培训结束后,参与者将能够:
- 为安全部署设置和配置 Le Chat Enterprise。
- 启用 RBAC、SSO 和合规驱动的控制。
- 将 Le Chat 与企业应用程序和数据存储集成。
- 为 ChatOps 设计和实施治理和管理手册。
课程形式
- 互动式讲座和讨论。
- 大量练习和实践。
- 在实时实验环境中进行实际操作。
课程定制选项
- 如需为此课程定制培训,请联系我们安排。
经济高效的LLM架构:大规模Mistral(性能/成本工程)
14 小时Mistral是一系列高性能的大型语言模型,专为大规模经济高效的生产部署而优化。
本次由讲师指导的培训(线上或线下)面向希望设计、部署和优化基于Mistral的架构以实现最大吞吐量和最低成本的高级基础设施工程师、云架构师和MLOps负责人。
培训结束后,参与者将能够:
- 为Mistral Medium 3实施可扩展的部署模式。
- 应用批处理、量化和高效服务策略。
- 在保持性能的同时优化推理成本。
- 设计适用于企业工作负载的生产级服务拓扑。
课程形式
- 互动讲座和讨论。
- 大量练习和实践。
- 在实验室环境中进行动手操作。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
使用Mistral连接器和集成实现对话助手产品化
14 小时Mistral AI 是一个开放的人工智能平台,使团队能够构建对话助手,并将其集成到企业和面向客户的工作流程中。
本次讲师指导的培训(线上或线下)面向初级到中级的产品经理、全栈开发人员和集成工程师,旨在帮助他们使用 Mistral 连接器和集成设计、集成并产品化对话助手。
培训结束后,参与者将能够:
- 将 Mistral 对话模型与企业及 SaaS 连接器集成。
- 实现检索增强生成(RAG)以提供基于上下文的响应。
- 为内部和外部聊天助手设计用户体验模式。
- 将助手部署到产品工作流程中,用于实际应用场景。
课程形式
- 互动式讲座与讨论。
- 动手集成练习。
- 实时实验室开发对话助手。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
企业级部署与Mistral Medium 3
14 小时Mistral Medium 3 是一款高性能、多模态的大型语言模型,专为在企业环境中进行生产级部署而设计。
本课程为讲师指导的线下或线上培训,面向希望在企业用例中部署、优化和保护 Mistral Medium 3 的中级到高级 AI/ML 工程师、平台架构师和 MLOps 团队。
培训结束后,参与者将能够:
- 使用 API 和自托管选项部署 Mistral Medium 3。
- 优化推理性能和成本。
- 使用 Mistral Medium 3 实现多模态用例。
- 在企业环境中应用安全和合规最佳实践。
课程形式
- 互动讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行动手实践。
课程定制选项
- 如需为此课程定制培训,请联系我们安排。
Mistral for Responsible AI: Privacy, Data Residency & Enterprise Controls
14 小时Mistral AI 是一个开放且企业就绪的 AI 平台,提供安全、合规且负责任的 AI 部署功能。
本次由讲师主导的培训(线上或线下)面向中级合规负责人、安全架构师以及法律/运营相关方,旨在通过利用隐私、数据驻留和企业控制机制,在 Mistral 中实施负责任的 AI 实践。
培训结束后,参与者将能够:
- 在 Mistral 部署中实施隐私保护技术。
- 应用数据驻留策略以满足法规要求。
- 设置企业级控制,如 RBAC、SSO 和审计日志。
- 评估供应商和部署选项以实现合规性。
课程形式
- 互动讲座和讨论。
- 以合规为重点的案例研究和练习。
- 企业 AI 控制的实际操作实施。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。