联系我们
 课程时长 14 小时

课程大纲

腾讯混元生产基础

  • 腾讯混元模型服务场景概览
  • 大型和MoE模型的生产特性
  • 常见的延迟、吞吐量及成本瓶颈
  • 为推理工作流定义服务级别目标

部署架构与服务流程

  • 生产推理堆栈的核心组件
  • 在容器化、本地和云部署模式之间做出选择
  • 模型加载、请求路由及GPU分配基础
  • 设计可靠性与运维简便性

延迟优化实践

  • 在适用场景中使用优化的推理引擎，如TensorRT
  • KV缓存概念及实际的缓存调优
  • 减少启动、预热和响应开销
  • 测量首字延迟和令牌生成速度

吞吐量、批处理与GPU效率

  • 连续批处理与请求批处理策略
  • 管理并发与队列行为
  • 提升GPU利用率而不损害用户体验
  • 处理长上下文和混合工作负载请求

量化与成本控制

  • 为何量化对生产服务至关重要
  • FP16、INT8及其他常见精度选项的实用权衡
  • 平衡模型质量、延迟与基础设施成本
  • 制定简易的成本优化清单

运维、监控与就绪审查

  • 推理服务的自动扩缩容触发机制
  • 监控延迟、吞吐量、缓存使用及GPU健康状况
  • 日志记录、警报与事件响应基础
  • 审查参考部署方案并制定改进计划

要求

  • 对大型语言模型部署和推理工作流有基本了解
  • 具备容器、云或本地基础设施以及基于API的服务使用经验
  • 掌握Python或系统工程任务的工作知识

受众

  • 将LLM部署到生产环境的ML工程师
  • 负责基于GPU的推理服务的平台工程师
  • 设计可扩展AI服务平台的解决方案架构师

需要帮助选择合适的课程吗？
china@nobleprog.com 或拨打 400 6116 540

即将举行的公开课程

在生产环境中部署腾讯混元：低延迟推理与成本优化

2026-11-23 09:30
14 小时
珠海 - 天朗海峰

在生产环境中部署腾讯混元：低延迟推理与成本优化

2026-12-07 09:30
14 小时
珠海 - 钰海环球金融中心

在生产环境中部署腾讯混元：低延迟推理与成本优化

2026-12-21 09:30
14 小时
北京 - 数码大厦

在生产环境中部署腾讯混元：低延迟推理与成本优化

2027-01-04 09:30
14 小时
北京 - 侨福芳草地

相关课程

高级LangGraph：优化、调试和监控复杂图

 35 小时
本次在中国进行的线下培训，面向高级AI平台工程师、AI运维人员和ML架构师，他们希望优化、调试、监控和运营生产级LangGraph系统，以构建有状态、多参与者的LLM应用程序，作为可组合的图。
查看更多...

使用Devstral构建编码代理：从代理设计到工具集成

 14 小时
在中国举办的本次线下培训中掌握Devstral。课程涵盖架构、代理工作流设计和工具集成。适合高级工程师，通过动手实验构建编码代理，以提升现代开发环境中的生产力和安全性。
查看更多...

开源模型运维：使用Devstral与Mistral模型进行自托管、微调与治理

 14 小时
此讲师指导的培训在中国进行，面向希望掌握Devstral和Mistral模型自托管与微调的ML工程师。参与者学习实用的治理、监控和合规技术，以在生产环境中自信地部署开源AI。
查看更多...

LangGraph在金融领域的应用

 35 小时
本次在中国举办的讲师指导培训，帮助专业人士设计基于LangGraph的金融解决方案。学员将学习实施符合监管要求的工作流、集成数据标准，并部署具有强大治理、可观测性和合规控制的系统。
查看更多...

LangGraph基础：基于图的LLM提示与链式调用

 14 小时
本次由讲师指导的LangGraph基础课程在中国帮助开发者构建基于图的LLM应用。学习节点和边、状态管理以及分支逻辑等核心概念。集成工具、检索和外部API，然后通过实践实验测试和部署可靠的工作流。
查看更多...

LangGraph在医疗保健中的应用：受监管环境下的工作流编排

 35 小时
通过本次在中国举办的线下培训，探索LangGraph在医疗保健领域的应用，该培训专为中高级专业人士设计。学习设计有状态、合规的工作流，集成FHIR和SNOMED CT等标准，并应对受监管环境中的伦理和运营挑战。
查看更多...

LangGraph在法律应用中的实践

 35 小时
通过本次在中国举办的35小时讲师指导培训，掌握LangGraph在法律应用中的使用。课程面向中高级专业人士，涵盖工作流设计、合规控制及人工审批环节。助您自信构建可审计、生产就绪的LLM解决方案。
查看更多...

使用LangGraph和LLM智能体构建动态工作流

 14 小时
本次在中国的线下或线上课程，引导中级工程师使用LangGraph构建动态LLM工作流。学习设计有状态图、实现分支逻辑，并集成检索、API和记忆，以构建稳健、上下文感知的应用。
查看更多...

LangGraph 用于营销自动化

 14 小时
这门讲师指导的培训在中国介绍LangGraph用于营销自动化。参与者学习设计条件内容工作流，集成LLM以实现个性化电子邮件营销活动，并管理多步骤管道中的状态，获得现代营销的实用技能。
查看更多...

Le Chat Enterprise：私有ChatOps、集成与管理控制

 14 小时
本次在中国举办的线下培训涵盖Le Chat Enterprise，这是一个用于安全、受治理的对话式AI的私有ChatOps解决方案。学员将学习部署、配置并将其与企业应用集成，实现RBAC、SSO及合规驱动的控制，以支持可扩展、安全的AI工作流。
查看更多...

高性价比LLM架构：Mistral规模化部署（性能/成本工程）

 14 小时
掌握高性价比Mistral LLM架构，参加本次14小时线下培训中国。学习部署、优化和扩展Mistral Medium 3，实现最大吞吐量和最低成本，使用批处理、量化和高效服务策略应对企业工作负载。
查看更多...

利用Mistral连接器与集成实现对话助手产品化

 14 小时
在中国中的线下培训涵盖将Mistral对话助手集成到企业工作流程中。参与者将学习连接SaaS工具、实施检索增强生成，并为面向客户和内部聊天界面设计有效的用户体验模式。
查看更多...

使用Mistral Medium 3进行企业级部署

 14 小时
这门讲师指导的培训在中国帮助高级AI工程师部署并保护Mistral Medium 3。您将优化推理成本，实现多模态用例，并应用企业合规实践。包括API和自托管设置的动手实验。
查看更多...

Mistral助力负责任AI：隐私、数据驻留与企业管控

 14 小时
本次在中国举办的Mistral负责任AI线下培训专为合规和安全负责人设计。您将掌握隐私保护技术、数据驻留策略以及RBAC和SSO等企业管控，确保安全合规的AI部署。
查看更多...

使用Mistral模型的多模态应用（视觉、OCR与文档理解）

 14 小时
学习使用Mistral模型构建多模态应用，重点涵盖OCR、文档理解和视觉-文本搜索。本次实操培训涵盖流水线实现、NLP集成和企业级设计，提供线上或中国线下培训。
查看更多...

课程分类

大型语言模型(LLMs)
大型语言模型(LLMs)