感谢您发送咨询!我们的团队成员将很快与您联系。
感谢您发送预订!我们的团队成员将很快与您联系。
课程时长 14 小时
课程大纲
参数高效微调(PEFT)简介
- 全量微调的动机与局限性
- PEFT概述:目标与优势
- 行业中的应用与用例
LoRA(低秩适配)
- LoRA的核心理念与直观理解
- 使用Hugging Face和PyTorch实现LoRA
- 实操:使用LoRA微调模型
Adapter Tuning
- 适配器模块的工作原理
- 与基于Transformer模型的集成
- 实操:在Transformer模型中应用Adapter Tuning
Prefix Tuning
- 使用软提示进行微调
- 与LoRA和适配器相比的优势与局限
- 实操:在LLM任务中进行Prefix Tuning
PEFT方法的评估与对比
- 评估性能与效率的指标
- 训练速度、内存使用与准确率之间的权衡
- 基准测试实验与结果解读
部署微调模型
- 保存与加载微调模型
- 基于PEFT模型的部署考量
- 集成到应用与流水线中
最佳实践与扩展
- 结合量化与蒸馏使用PEFT
- 在低资源与多语言场景中的应用
- 未来方向与活跃研究领域
要求
- 了解机器学习基础
- 具备使用大型语言模型(LLM)的经验
- 熟悉Python和PyTorch
目标受众
- 数据科学家
- AI工程师