大型语言模型(LLM)的参数高效微调(PEFT)技术 培训
参数高效微调(PEFT)是一组技术,通过仅修改大型语言模型(LLM)中少数参数子集,实现对模型的高效适配。
本培训由讲师带领,提供线上或线下授课。旨在帮助中高级数据科学家和AI工程师,使用LoRA、Adapter Tuning和Prefix Tuning等方法,以更经济高效的方式微调大型语言模型。
培训结束后,参与者将能够:
- 理解参数高效微调方法背后的理论。
- 使用Hugging Face PEFT实现LoRA、Adapter Tuning和Prefix Tuning。
- 对比PEFT方法与全量微调在性能与成本上的权衡。
- 以更低计算和存储需求部署并扩展微调后的LLM。
课程形式
- 互动式讲授与讨论。
- 大量练习与实践。
- 在实时实验环境中进行动手实操。
课程定制选项
- 如需定制本课程培训,请联系我们安排。
感谢您发送咨询!我们的团队成员将很快与您联系。
感谢您发送预订!我们的团队成员将很快与您联系。
课程大纲
参数高效微调(PEFT)简介
- 全量微调的动机与局限性
- PEFT概述:目标与优势
- 行业中的应用与用例
LoRA(低秩适配)
- LoRA的核心理念与直观理解
- 使用Hugging Face和PyTorch实现LoRA
- 实操:使用LoRA微调模型
Adapter Tuning
- 适配器模块的工作原理
- 与基于Transformer模型的集成
- 实操:在Transformer模型中应用Adapter Tuning
Prefix Tuning
- 使用软提示进行微调
- 与LoRA和适配器相比的优势与局限
- 实操:在LLM任务中进行Prefix Tuning
PEFT方法的评估与对比
- 评估性能与效率的指标
- 训练速度、内存使用与准确率之间的权衡
- 基准测试实验与结果解读
部署微调模型
- 保存与加载微调模型
- 基于PEFT模型的部署考量
- 集成到应用与流水线中
最佳实践与扩展
- 结合量化与蒸馏使用PEFT
- 在低资源与多语言场景中的应用
- 未来方向与活跃研究领域
要求
- 了解机器学习基础
- 具备使用大型语言模型(LLM)的经验
- 熟悉Python和PyTorch
目标受众
- 数据科学家
- AI工程师
14 小时
需要帮助选择合适的课程吗?
china@nobleprog.com 或拨打 400 6116 540
大型语言模型(LLM)的参数高效微调(PEFT)技术 培训 - 询价
大型语言模型(LLM)的参数高效微调(PEFT)技术 - 问询
即将举行的公开课程
相关课程
高级LangGraph:优化、调试和监控复杂图
35 小时
本次在中国进行的线下培训,面向高级AI平台工程师、AI运维人员和ML架构师,他们希望优化、调试、监控和运营生产级LangGraph系统,以构建有状态、多参与者的LLM应用程序,作为可组合的图。
查看更多...
使用Devstral构建编码代理:从代理设计到工具集成
14 小时
在中国举办的本次线下培训中掌握Devstral。课程涵盖架构、代理工作流设计和工具集成。适合高级工程师,通过动手实验构建编码代理,以提升现代开发环境中的生产力和安全性。
查看更多...
开源模型运维:使用Devstral与Mistral模型进行自托管、微调与治理
14 小时
此讲师指导的培训在中国进行,面向希望掌握Devstral和Mistral模型自托管与微调的ML工程师。参与者学习实用的治理、监控和合规技术,以在生产环境中自信地部署开源AI。
查看更多...
LangGraph在金融领域的应用
35 小时
本次在中国举办的讲师指导培训,帮助专业人士设计基于LangGraph的金融解决方案。学员将学习实施符合监管要求的工作流、集成数据标准,并部署具有强大治理、可观测性和合规控制的系统。
查看更多...
LangGraph基础:基于图的LLM提示与链式调用
14 小时
本次由讲师指导的LangGraph基础课程在中国帮助开发者构建基于图的LLM应用。学习节点和边、状态管理以及分支逻辑等核心概念。集成工具、检索和外部API,然后通过实践实验测试和部署可靠的工作流。
查看更多...
LangGraph在医疗保健中的应用:受监管环境下的工作流编排
35 小时
通过本次在中国举办的线下培训,探索LangGraph在医疗保健领域的应用,该培训专为中高级专业人士设计。学习设计有状态、合规的工作流,集成FHIR和SNOMED CT等标准,并应对受监管环境中的伦理和运营挑战。
查看更多...
LangGraph在法律应用中的实践
35 小时
通过本次在中国举办的35小时讲师指导培训,掌握LangGraph在法律应用中的使用。课程面向中高级专业人士,涵盖工作流设计、合规控制及人工审批环节。助您自信构建可审计、生产就绪的LLM解决方案。
查看更多...
使用LangGraph和LLM智能体构建动态工作流
14 小时
本次在中国的线下或线上课程,引导中级工程师使用LangGraph构建动态LLM工作流。学习设计有状态图、实现分支逻辑,并集成检索、API和记忆,以构建稳健、上下文感知的应用。
查看更多...
LangGraph 用于营销自动化
14 小时
这门讲师指导的培训在中国介绍LangGraph用于营销自动化。参与者学习设计条件内容工作流,集成LLM以实现个性化电子邮件营销活动,并管理多步骤管道中的状态,获得现代营销的实用技能。
查看更多...
Le Chat Enterprise:私有ChatOps、集成与管理控制
14 小时
本次在中国举办的线下培训涵盖Le Chat Enterprise,这是一个用于安全、受治理的对话式AI的私有ChatOps解决方案。学员将学习部署、配置并将其与企业应用集成,实现RBAC、SSO及合规驱动的控制,以支持可扩展、安全的AI工作流。
查看更多...
高性价比LLM架构:Mistral规模化部署(性能/成本工程)
14 小时
掌握高性价比Mistral LLM架构,参加本次14小时线下培训中国。学习部署、优化和扩展Mistral Medium 3,实现最大吞吐量和最低成本,使用批处理、量化和高效服务策略应对企业工作负载。
查看更多...
利用Mistral连接器与集成实现对话助手产品化
14 小时
在中国中的线下培训涵盖将Mistral对话助手集成到企业工作流程中。参与者将学习连接SaaS工具、实施检索增强生成,并为面向客户和内部聊天界面设计有效的用户体验模式。
查看更多...
使用Mistral Medium 3进行企业级部署
14 小时
这门讲师指导的培训在中国帮助高级AI工程师部署并保护Mistral Medium 3。您将优化推理成本,实现多模态用例,并应用企业合规实践。包括API和自托管设置的动手实验。
查看更多...
Mistral助力负责任AI:隐私、数据驻留与企业管控
14 小时
本次在中国举办的Mistral负责任AI线下培训专为合规和安全负责人设计。您将掌握隐私保护技术、数据驻留策略以及RBAC和SSO等企业管控,确保安全合规的AI部署。
查看更多...
使用Mistral模型的多模态应用(视觉、OCR与文档理解)
14 小时
学习使用Mistral模型构建多模态应用,重点涵盖OCR、文档理解和视觉-文本搜索。本次实操培训涵盖流水线实现、NLP集成和企业级设计,提供线上或中国线下培训。
查看更多...