感谢您发送咨询!我们的团队成员将很快与您联系。
感谢您发送预订!我们的团队成员将很快与您联系。
课程大纲
LLMOps简介
- LLMOps与MLOps的区别:运营大语言模型的独特挑战
- 大语言模型应用生命周期:提示词、评估、部署、监控
- 生成式AI应用的投产就绪检查清单
提示词管理与版本控制
- 提示词模板系统与变量注入
- 带自动化回归测试的语义版本号管理
- 提示词注册表与协作工作流
规模化大语言模型评估
- 评估维度:准确性、相关性、安全性、依据性
- 大语言模型作为裁判的指标及人工评估管道
- 自动化评估框架:RAGAS、DeepEval及自定义评估器
- 大语言模型部署中的CI/CD质量门禁
安全护栏与内容治理
- 输入与输出护栏:NeMo Guardrails和Guardrails AI
- 个人身份信息检测、毒性过滤及主题边界控制
- 针对越狱攻击和提示词注入的防御策略
- 通过红队测试确保大语言模型应用的安全性
大语言模型可观测性与监控
- 遥测数据:令牌用量、延迟、成本和质量指标
- 大语言模型输出及嵌入空间的漂移检测
- 多轮智能体对话的会话级追踪
- 使用LangSmith、Arize和OpenTelemetry进行仪表盘展示与告警配置
AI网关与模型编排
- 使用LiteLLM和Portkey实现多供应商路由
- 故障转移策略、重试逻辑及熔断机制
- 成本感知的模型选择与负载均衡
- 速率限制、配额管理及API密钥治理
性能优化
- 使用向量存储和精确匹配策略实现语义缓存
- 通过受限解码强制执行结构化输出
- 批处理、流式传输及并发模式
- 跨模型供应商的延迟优化
治理、合规与审计
- 大语言模型审计轨迹:提示词日志、响应日志及决策溯源
- 大语言模型API的数据驻留与隐私考量
- 组织内大语言模型使用的代码化策略
- 构建内部大语言模型运营手册
要求
- 具备构建或集成大语言模型应用的实践经验。
- 熟悉Python及REST API。
- 对提示词工程概念有基本理解。
目标学员
- 从机器学习运维转向大语言模型运营的机器学习工程师和MLOps从业者。
- 负责大语言模型基础设施的平台工程师。
- 管理生产级生成式AI部署的技术负责人。
14 小时
客户评论 (2)
使用恰当且有效的提示
Marses Pacaldo
课程 - Generative AI and Prompt Engineering for Corporate Professionals
机器翻译
互动式风格,练习
Tamas Tutuntzisz
课程 - Introduction to Prompt Engineering
机器翻译