感谢您发送咨询!我们的团队成员将很快与您联系。
感谢您发送预订!我们的团队成员将很快与您联系。
课程时长 35 小时
课程大纲
引言与诊断基础
- LLM系统中的故障模式概述及Ollama特有的常见问题
- 建立可复现实验和受控环境
- 调试工具集:本地日志、请求/响应捕获和沙箱隔离
复现与隔离故障
- 创建最小失败示例和种子数据的技术
- 有状态与无状态交互:隔离上下文相关的bug
- 确定性、随机性以及控制非确定性行为
行为评估与指标
- 定量指标:准确率、ROUGE/BLEU变体、校准和困惑度代理
- 定性评估:人机协同评分和评分标准设计
- 特定任务的保真度检查和验收标准
自动化测试与回归
- 针对提示词和组件的单元测试,场景和端到端测试
- 创建回归测试套件和黄金示例基线
- 为Ollama模型更新和自动化验证门控集成CI/CD
可观测性与监控
- 结构化日志、分布式追踪和关联ID
- 关键运营指标:延迟、token使用率、错误率和质量信号
- 针对模型支持服务的告警、仪表板和SLIs/SLOs
高级根因分析
- 通过图形化的提示词、工具调用和多轮流程进行追踪
- 对比A/B诊断和消融研究
- 数据溯源、数据集调试及解决数据集引发的故障
安全性、鲁棒性与补救策略
- 缓解措施:过滤、接地、检索增强和提示词脚手架
- 模型更新的回滚、金丝雀发布和分阶段发布模式
- 事后复盘、经验教训和持续改进循环
总结与后续步骤
要求
- 具有构建和部署LLM应用的丰富经验
- 熟悉Ollama工作流程和模型托管
- 熟练使用Python、Docker和基础可观测性工具
目标受众
- AI工程师
- ML Ops专业人士
- 负责生产环境LLM系统的QA团队