自主托管决策模型：服务、量化、延迟与运维 培训

部署选项

• 托管 API 与自主托管的权衡。
• 本地、边缘及隔离环境的部署模式。
• 单模型与模型组合的对比。
• 单次决策成本比较。

硬件选型与容量规划

• 根据参数量计算内存占用。
• 纯 CPU 与 GPU 加速的对比。
• 并发与吞吐量规划。
• 为任务长度增长预留余量。

服务栈选择

• vLLM 与 SGLang 方案。
• llama.cpp 与 GGUF 执行引擎。
• Ollama 用于本地开发。
• 根据决策工作负载特性进行选择。

无损校准的量化

• 精度格式与内存节省效果。
• 衡量质量与校准损失。
• 张量级与重要性感知量化变体。
• 量化后的验收测试。

延迟工程

• 中位数延迟与尾部延迟。
• 延迟随上下文长度的增长。
• 热启动与模型缓存。
• 批量处理多个决策问题。

边缘与受限环境

• CPU 上的小型决策模型。
• Apple Silicon 及嵌入式部署。
• 离线运行与更新策略。
• 隔离环境下的权重分发。

容器化与扩展性

• 模型服务镜像设计。
• 卷与缓存管理。
• 水平扩展与路由。
• 资源限制与 GPU 共享。

可观测性

• 请求、延迟及错误指标。
• 置信度分布监控。
• 决策结果与升级追踪。
• 校准漂移告警。

版本管理与发布

• 模型与适配器版本管理。
• 影子发布与金丝雀发布。
• 固定模型文件以供审计。
• 回滚流程。

安全与多租户

• 身份验证与速率限制。
• 提示词与日志的租户隔离。
• 网络隔离与出口流量控制。
• 决策审计日志。