Ollama：自托管大语言模型替代OpenAI和Claude API 培训
Ollama是一款开源工具，能够在消费级和企业级硬件上本地运行大语言模型。它将模型量化、GPU分配和API服务抽象为一个单一的命令行界面，使组织能够自托管Llama、Mistral和Qwen等大语言模型，而无需将提示或数据发送到OpenAI、Anthropic或Google。
本次由讲师指导的培训（线上或线下）面向希望使用Ollama替代云大语言模型API，实现自托管、主权语言模型推理的中级AI工程师和平台操作员。
培训结束后，参与者将能够：
- 在支持GPU的Linux、macOS和Windows上安装Ollama。
- 从Ollama注册表和HuggingFace拉取、量化和服务模型。
- 使用系统提示和参数调优构建自定义Modelfiles。
- 通过OpenAI兼容的API将本地大语言模型与应用集成。
- 针对仅CPU和多GPU设置优化推理性能。
课程形式
- 互动讲座和讨论。
- 大量练习和实践。
- 在实时实验室环境中进行动手操作。
课程定制选项
- 如需为本课程定制培训，请联系我们安排。
课程大纲
AI主权与大语言模型本地部署
- 云大语言模型的风险：数据留存、输入训练、外国司法管辖。
- Ollama架构：模型服务器、注册表和OpenAI兼容API。
- 与vLLM、llama.cpp和Text Generation Inference的比较。
- 模型许可：Llama、Mistral、Qwen和Gemma的条款。
安装与硬件设置
- 在支持CUDA和ROCm的Linux上安装Ollama。
- 仅CPU回退和AVX/AVX2优化。
- Docker部署和持久卷映射。
- 多GPU设置和VRAM分配策略。
模型管理
- 从Ollama注册表拉取模型：ollama pull llama3。
- 从HuggingFace和TheBloke导入GGUF模型。
- 量化级别：Q4_K_M、Q5_K_M、Q8_0的权衡。
- 模型切换和并发模型加载限制。
自定义Modelfiles
- 编写Modelfile语法：FROM、PARAMETER、SYSTEM、TEMPLATE。
- 温度、top_p和repeat_penalty调优。
- 系统提示工程，实现角色特定行为。
- 创建并发布自定义模型到本地注册表。
API集成
- OpenAI兼容的/v1/chat/completions端点。
- 流式响应和JSON模式。
- 与LangChain、LlamaIndex和自定义应用集成。
- 使用反向代理进行身份验证和速率限制。
性能优化
- 上下文窗口大小和KV缓存管理。
- 批量推理和并行请求处理。
- CPU线程分配和NUMA感知。
- 监控GPU利用率和内存压力。
安全与合规
- 模型服务端点的网络隔离。
- 输入过滤和输出审核管道。
- 提示和完成的审计日志。
- 模型来源和哈希验证。
要求
- 中级Linux和容器管理。
- 对机器学习和Transformer模型有基本了解。
- 熟悉REST API和JSON。
受众
- 替代云大语言模型API的AI工程师和开发者。
- 因数据敏感性无法使用云模型的组织。
- 需要隔离语言模型的政府和国防团队。
需要帮助选择合适的课程吗？
china@nobleprog.com 或拨打 400 6116 540
Ollama：自托管大语言模型替代OpenAI和Claude API 培训 - 询价
Ollama：自托管大语言模型替代OpenAI和Claude API - 问询
即将举行的公开课程
相关课程
高级Ollama模型调试与评估
35 小时高级Ollama模型调试与评估是一门深入课程，专注于在本地或私有Ollama部署中诊断、测试和测量模型行为。
本课程为讲师指导的培训（线上或线下），面向希望确保基于Ollama的模型在生产环境中的可靠性、保真度和操作准备情况的高级AI工程师、ML Ops专业人员和QA从业人员。
培训结束后，参与者将能够：
- 对Ollama托管的模型进行系统化调试，并可靠地复现故障模式。
- 设计并执行包含定量和定性指标的稳健评估流程。
- 实施可观测性（日志、追踪、指标）以监控模型健康状况和漂移。
- 自动化测试、验证和回归检查，并将其集成到CI/CD管道中。
课程形式
- 互动式讲座与讨论。
- 使用Ollama部署进行实践实验和调试练习。
- 案例分析、小组故障排除会议和自动化研讨会。
课程定制选项
- 如需为本课程定制培训，请联系我们安排。
使用Ollama构建私有AI工作流
14 小时本课程为讲师指导的中国（线上或线下）培训，面向希望使用Ollama实现安全高效的AI驱动工作流的高级专业人员。
培训结束后，学员将能够：
- 部署和配置Ollama以进行私有AI处理。
- 将AI模型集成到安全的企业工作流中。
- 在保持数据隐私的同时优化AI性能。
- 利用本地AI能力自动化业务流程。
- 确保符合企业安全和治理政策。
使用Ollama部署和优化LLMs
14 小时本次由讲师指导的中国培训（线上或线下）面向希望使用Ollama部署、优化和集成LLMs的中级专业人员。
培训结束后，参与者将能够：
- 使用Ollama设置和部署LLMs。
- 优化AI模型的性能和效率。
- 利用GPU加速提高推理速度。
- 将Ollama集成到工作流和应用中。
- 监控和维护AI模型的长期性能。
EXO：端到端本地AI集群部署
21 小时本课程由讲师指导，提供中国（线上或线下）培训，面向希望跨多个Apple Silicon或Linux节点部署、配置和管理EXO集群以进行私有LLM推理的系统管理员和DevOps工程师。
EXO for DevOps：构建私有AI基础设施
21 小时本次由讲师指导的中国培训（线上或线下）面向希望自动化基于EXO构建的私有AI集群的配置、监控和生命周期管理的DevOps工程师和基础设施架构师。
EXO安全与治理：离线模型管理
14 小时本课程由讲师指导，采用中国（线上或线下）培训形式，面向希望加强EXO部署、控制模型访问并管理完全在本地运行的AI工作负载的安全工程师和合规官。
在Ollama上微调和定制AI模型
14 小时本课程由讲师主导，提供中国的线上或线下培训，面向希望微调和定制Ollama上的AI模型以提升性能和领域特定应用的高级专业人士。
培训结束后，参与者将能够：
- 在Ollama上为微调AI模型设置高效环境。
- 准备数据集以进行监督微调和强化学习。
- 优化AI模型的性能、准确性和效率。
- 在生产环境中部署定制模型。
- 评估模型改进并确保其鲁棒性。
安全本地代理式AI：面向受监管行业的本地Ollama开发
21 小时本在中国地区提供的讲师主导实时培训（线上或线下）旨在帮助开发者和技术团队利用Ollama与开放模型，在企业内部基础设施上构建并运行私有代理式AI解决方案。
完成本培训后，学员将能够：安装和配置Ollama，在本地评估并运行开放模型，创建简单的代理式及检索型工作流，并为受监管环境应用安全与治理控制措施。
多模态应用与Ollama
21 小时Ollama 是一个平台，支持在本地运行和微调大型语言和多模态模型。
本次由讲师指导的培训（线上或线下）面向高级机器学习工程师、AI 研究人员和产品开发人员，他们希望使用 Ollama 构建和部署多模态应用。
培训结束后，学员将能够：
- 使用 Ollama 设置和运行多模态模型。
- 整合文本、图像和音频输入，用于实际应用。
- 构建文档理解和视觉问答系统。
- 开发能够跨模态推理的多模态代理。
课程形式
- 互动式讲座和讨论。
- 使用真实多模态数据集进行实践操作。
- 使用 Ollama 实时实验室实现多模态管道。
课程定制选项
- 如需为此课程定制培训，请联系我们安排。
Ollama入门：运行本地AI模型
7 小时本课程为讲师主导的培训（线上或线下），面向初学者，旨在帮助他们安装、配置和使用Ollama在本地机器上运行AI模型。
在本课程结束时，学员将能够：
- 了解Ollama的基本原理及其功能。
- 设置Ollama以运行本地AI模型。
- 使用Ollama部署并与LLMs进行交互。
- 优化AI工作负载的性能和资源使用。
- 探索本地AI部署在各行业的应用案例。
Ollama与数据隐私：安全部署模式
14 小时Ollama是一个平台，允许在本地运行大型语言和多模态模型，同时支持安全部署策略。
本次由讲师主导的培训（线上或线下）面向希望部署Ollama并具备强大数据隐私和法规合规措施的中级专业人员。
培训结束后，参与者将能够：
- 在容器化和本地环境中安全部署Ollama。
- 应用差分隐私技术保护敏感数据。
- 实施安全的日志记录、监控和审计实践。
- 执行符合合规要求的数据访问控制。
课程形式
- 互动式讲座和讨论。
- 包含安全部署模式的实践实验室。
- 以合规为重点的案例研究和实践练习。
课程定制选项
- 如需为本课程定制培训，请联系我们安排。
Ollama在金融中的应用
14 小时Ollama是一个轻量级平台，用于本地运行大型语言模型。
本次由讲师指导的培训（线上或线下）面向中级金融从业者和IT人员，他们希望在金融环境中实施、定制和操作基于Ollama的AI解决方案。
通过完成本培训，参与者将获得以下技能：
- 部署和配置Ollama，以安全地用于金融操作。
- 将本地LLM集成到分析和报告工作流程中。
- 使模型适应金融特定术语和任务。
- 应用安全、隐私和合规的最佳实践。
课程形式
- 互动讲座和讨论。
- 金融数据实践练习。
- 实时实验室实施金融场景。
课程定制选项
- 如需为本课程定制培训，请联系我们安排。
Ollama在医疗保健中的应用
14 小时Ollama是一个轻量级平台，用于在本地运行大型语言模型。
本课程由讲师主导，提供线上或线下培训，面向中级医疗保健从业者和IT团队，旨在帮助他们在临床和行政环境中部署、定制和实施基于Ollama的AI解决方案。
完成本培训后，学员将能够：
- 在医疗保健环境中安全地安装和配置Ollama。
- 将本地大型语言模型集成到临床工作流程和行政流程中。
- 针对医疗保健特定的术语和任务定制模型。
- 应用隐私、安全和合规性的最佳实践。
课程形式
- 互动式讲座和讨论。
- 实际操作演示和指导练习。
- 在沙盒医疗保健模拟环境中进行实际实施。
课程定制选项
- 如需为本课程定制培训，请联系我们进行安排。
Ollama 负责任的人工智能与治理
14 小时Ollama是一个本地运行大型语言和多模态模型的平台，支持治理和负责任的AI实践。
本次由讲师主导的培训（线上或线下）面向中级到高级专业人士，旨在帮助他们在Ollama驱动的应用中实现公平性、透明性和问责制。
通过本培训，参与者将能够：
- 在Ollama部署中应用负责任的AI原则。
- 实施内容过滤和偏见缓解策略。
- 设计用于AI对齐和可审计性的治理工作流程。
- 建立监控和报告框架以确保合规性。
课程形式
- 互动式讲座和讨论。
- 实践性的治理工作流程设计实验。
- 案例研究和以合规为重点的练习。
课程定制选项
- 如需为本课程定制培训，请联系我们进行安排。
面向受监管组织的自主AI：掌控数据、模型和推理环境
7 小时该在中国提供的线上或线下讲师主导培训，适合中级IT领导、合规专家、安全团队和企业架构师。学员将学习运用自主AI原则与治理实践，设计能保护敏感数据、支持本地化要求并减少供应商锁定风险的AI环境。
完成培训后，参与者将能够：解释自主AI概念，评估托管与治理选项，定义针对提示词和日志的控制措施，并制定实用的采纳路线图。
