课程大纲

开源LLMs简介

  • 什么是开放权重模型及其重要性
  • LLaMA、Mistral、Qwen及其他社群模型概述
  • 私有、本地或安全部署的应用案例

环境设置与工具

  • 安装与配置Transformers、Datasets及PEFT函式库
  • 选择适合的硬体进行微调
  • 从Hugging Face或其他储存库载入预训练模型

数据准备与预处理

  • 数据集格式(指令微调、聊天数据、纯文本)
  • 分词与序列管理
  • 创建自定义数据集与数据加载器

Fine-Tuning技术

  • 标准全微调与参数高效方法对比
  • 应用LoRA与QLoRA进行高效微调
  • 使用Trainer API进行快速实验

模型评估与优化

  • 使用生成与准确度指标评估微调模型
  • 管理过拟合、泛化与验证集
  • 性能调优技巧与日志记录

部署与私有使用

  • 保存与载入模型进行推理
  • 在安全企业环境中部署微调模型
  • 本地与云端部署策略

案例研究与Use Case

  • 企业使用LLaMA、Mistral及Qwen的范例
  • 处理多语言与特定领域的微调
  • 讨论:开放与封闭模型的权衡

总结与下一步

要求

  • 了解大型语言模型(LLMs)及其架构
  • 具备Python和PyTorch的经验
  • 对Hugging Face生态系统有基本了解

目标受众

  • 机器学习从业者
  • 人工智慧开发者
 14 小时

即将举行的公开课程

课程分类