联系我们

课程大纲

LLMOps简介

  • LLMOps与MLOps的区别:运营大语言模型的独特挑战
  • 大语言模型应用生命周期:提示词、评估、部署、监控
  • 生成式AI应用的投产就绪检查清单

提示词管理与版本控制

  • 提示词模板系统与变量注入
  • 带自动化回归测试的语义版本号管理
  • 提示词注册表与协作工作流

规模化大语言模型评估

  • 评估维度:准确性、相关性、安全性、依据性
  • 大语言模型作为裁判的指标及人工评估管道
  • 自动化评估框架:RAGAS、DeepEval及自定义评估器
  • 大语言模型部署中的CI/CD质量门禁

安全护栏与内容治理

  • 输入与输出护栏:NeMo Guardrails和Guardrails AI
  • 个人身份信息检测、毒性过滤及主题边界控制
  • 针对越狱攻击和提示词注入的防御策略
  • 通过红队测试确保大语言模型应用的安全性

大语言模型可观测性与监控

  • 遥测数据:令牌用量、延迟、成本和质量指标
  • 大语言模型输出及嵌入空间的漂移检测
  • 多轮智能体对话的会话级追踪
  • 使用LangSmith、Arize和OpenTelemetry进行仪表盘展示与告警配置

AI网关与模型编排

  • 使用LiteLLM和Portkey实现多供应商路由
  • 故障转移策略、重试逻辑及熔断机制
  • 成本感知的模型选择与负载均衡
  • 速率限制、配额管理及API密钥治理

性能优化

  • 使用向量存储和精确匹配策略实现语义缓存
  • 通过受限解码强制执行结构化输出
  • 批处理、流式传输及并发模式
  • 跨模型供应商的延迟优化

治理、合规与审计

  • 大语言模型审计轨迹:提示词日志、响应日志及决策溯源
  • 大语言模型API的数据驻留与隐私考量
  • 组织内大语言模型使用的代码化策略
  • 构建内部大语言模型运营手册

要求

  • 具备构建或集成大语言模型应用的实践经验。
  • 熟悉Python及REST API。
  • 对提示词工程概念有基本理解。

目标学员

  • 从机器学习运维转向大语言模型运营的机器学习工程师和MLOps从业者。
  • 负责大语言模型基础设施的平台工程师。
  • 管理生产级生成式AI部署的技术负责人。
 14 小时

客户评论 (2)

即将举行的公开课程

课程分类