联系我们

课程大纲

参数高效微调(PEFT)简介

  • 全微调的动机和局限性
  • PEFT概述:目标与优势
  • 行业中的应用和用例

LoRA(低秩适配)

  • LoRA的概念和原理
  • 使用Hugging Face和PyTorch实现LoRA
  • 实践:使用LoRA微调模型

Adapter Tuning

  • 适配器模块的工作原理
  • 与基于Transformer模型的集成
  • 实践:将Adapter Tuning应用于Transformer模型

Prefix Tuning

  • 使用软提示进行微调
  • 与LoRA和适配器相比的优势和局限性
  • 实践:在LLM任务上应用Prefix Tuning

评估和比较PEFT方法

  • 评估性能和效率的指标
  • 训练速度、内存使用和准确性的权衡
  • 基准实验和结果解读

部署微调模型

  • 保存和加载微调模型
  • PEFT模型部署的注意事项
  • 集成到应用程序和管道中

最佳实践与扩展

  • 将PEFT与量化和蒸馏结合
  • 在低资源和多语言环境中的使用
  • 未来方向和活跃研究领域

总结与下一步

要求

  • 了解机器学习基础知识
  • 有大语言模型(LLMs)的工作经验
  • 熟悉Python和PyTorch

受众

  • 数据科学家
  • AI工程师
 14 小时

即将举行的公开课程

课程分类