课程大纲

微调简介

  • 什么是微调?
  • 微调的使用案例和优势
  • 预训练模型和迁移学习概述

准备微调

  • 收集和清理数据集
  • 了解特定于任务的数据要求
  • 探索性数据分析和预处理

微调技术

  • 迁移学习和特征提取
  • 带 Hugging Face 的微调变压器
  • 针对监督任务与无监督任务进行微调

微调 Large Language Models (LLMs)

  • 使 LLM 适应 NLP 任务(例如,文字分类、摘要)
  • 使用自订数据集训练 LLM
  • 使用提示工程控制 LLM 行为

优化和评估

  • 超参数优化
  • 评估模型性能
  • 解决过拟合和欠拟合

扩展微调工作

  • 在分散式系统上进行微调
  • 利用基于云端解决方案实现可扩充性
  • 案例研究:大规模微调专案

最佳实践和挑战

  • 微调成功的最佳实践
  • 常见挑战和故障排除
  • 微调 AI 模型的道德注意事项

进阶主题(选择)

  • 微调多模态模型
  • 零样本和少数样本学习
  • 探索LoRA (Low-Rank Adaptation) 技术

总结和后续步骤

要求

  • 了解机器学习基础知识
  • Python 个程式设计经验
  • 熟悉预训练模型及其应用

观众

  • 数据科学家
  • 机器学习工程师
  • AI 研究人员
 14 小时

即将举行的公开课程

课程分类