联系我们

课程大纲

参数高效微调(PEFT)简介

  • 全量微调的动机与局限性
  • PEFT概述:目标与优势
  • 行业中的应用与用例

LoRA(低秩适配)

  • LoRA的核心理念与直观理解
  • 使用Hugging Face和PyTorch实现LoRA
  • 实操:使用LoRA微调模型

Adapter Tuning

  • 适配器模块的工作原理
  • 与基于Transformer模型的集成
  • 实操:在Transformer模型中应用Adapter Tuning

Prefix Tuning

  • 使用软提示进行微调
  • 与LoRA和适配器相比的优势与局限
  • 实操:在LLM任务中进行Prefix Tuning

PEFT方法的评估与对比

  • 评估性能与效率的指标
  • 训练速度、内存使用与准确率之间的权衡
  • 基准测试实验与结果解读

部署微调模型

  • 保存与加载微调模型
  • 基于PEFT模型的部署考量
  • 集成到应用与流水线中

最佳实践与扩展

  • 结合量化与蒸馏使用PEFT
  • 在低资源与多语言场景中的应用
  • 未来方向与活跃研究领域

要求

  • 了解机器学习基础
  • 具备使用大型语言模型(LLM)的经验
  • 熟悉Python和PyTorch

目标受众

  • 数据科学家
  • AI工程师
 14 小时

即将举行的公开课程

课程分类