课程大纲

NLP 微调简介

  • 什么是微调?
  • 微调预训练语言模型的好处
  • 常用预训练模型(GPT、BERT、T5)概述

了解 NLP 任务

  • 情绪分析
  • 文本摘要
  • 机器翻译
  • 命名实体识别 (NER)

设置环境

  • 安装和配置 Python 和库
  • 使用 Hugging Face 个 Transformer 执行 NLP 任务
  • 载入和探索预训练模型

微调技术

  • 为 NLP 任务准备数据集
  • 分词和输入格式
  • 针对分类、生成和翻译任务进行微调

优化模型性能

  • 了解学习率和批量大小
  • 使用正则化技术
  • 使用指标评估模型性能

动手实验

  • 微调 BERT 以进行情感分析
  • 微调 T5 以进行文本摘要
  • 微调 GPT 以进行机器翻译

部署微调模型

  • 汇出和保存模型
  • 将模型整合到应用程式中
  • 在云平台上部署模型的基础知识

挑战和最佳实践

  • 在微调过程中避免过拟合
  • 处理不平衡的数据集
  • 确保实验的可重复性

NLP 微调的未来趋势

  • 新兴的预训练模型
  • NLP 迁移学习的进展
  • 探索多模态 NLP 应用程式

总结和后续步骤

要求

  • 对 NLP 概念的基本理解
  • Python 个程式设计经验
  • 熟悉深度学习框架,如 TensorFlow 或 PyTorch

观众

  • 数据科学家
  • NLP 工程师
 21 小时

即将举行的公开课程

课程分类