课程大纲

Large Language Models (LLMs) 简介

  • LLM概述
  • 定义和意义
  • 当今人工智能中的应用

变压器架构

  • 什么是变压器,它是如何工作的?
  • 主要组件和特点
  • 嵌入和位置编码
  • 多头注意力
  • 前馈神经网络
  • 归一化和残差连接

变压器型号

  • 自注意力机制
  • 编码器-解码器架构
  • 位置嵌入
  • BERT(来自 Transformer 的双向编码器表示)
  • GPT(生成式预训练转换器)

性能优化和陷阱

  • 上下文长度
  • 曼巴和状态空间模型
  • 闪光注意力
  • 稀疏变压器
  • 视觉变压器
  • 量化的重要性

改进变压器

  • 检索增强文本生成
  • 模型混合
  • 思想之树

微调

  • 低秩适应理论
  • 使用 QLora 进行微调

LLM 中的缩放定律和优化

  • LLM扩展法的重要性
  • 数据和模型大小缩放
  • 计算扩展
  • 参数效率缩放

优化

  • 模型大小、数据大小、计算预算和推理需求之间的关系
  • 优化 LLM 的性能和效率
  • 用于训练和微调 LLM 的最佳实践和工具

训练和微调 LLM

  • 从头开始培训 LLM 的步骤和挑战
  • 数据采集与维护
  • 大规模数据、CPU 和内存要求
  • 优化挑战
  • 开源 LLM 的前景

Reinforcement Learning (RL) 的基础知识

  • Reinforcement Learning 简介
  • 通过积极强化学习
  • 定义和核心概念
  • 马尔可夫决策过程 (MDP)
  • 动态规划
  • 蒙特卡罗方法
  • 时差学习

深 Reinforcement Learning

  • 深度 Q 网络 (DQN)
  • 近端策略优化 (PPO)
  • Element秒,共 Reinforcement Learning

LLM 和 Reinforcement Learning 的集成

  • 将 LLM 与 Reinforcement Learning 相结合
  • RL在LLM中的使用方式
  • Reinforcement Learning 人工反馈 (RLHF)
  • RLHF的替代品

案例研究和应用

  • 实际应用
  • 成功案例和挑战

高级主题

  • 先进技术
  • 高级优化方法
  • 尖端研发

摘要和后续步骤

要求

  • 基本了解 Machine Learning

观众

  • 数据科学家
  • 软件工程师
 21 小时

即将举行的公开课程

课程分类