联系我们

课程大纲

开源LLM简介

  • 什么是开源模型及其重要性
  • LLaMA、Mistral、Qwen及其他社区模型概述
  • 私有、本地或安全部署的用例

环境设置与工具

  • 安装和配置Transformers、Datasets和PEFT库
  • 选择适合微调的硬件
  • 从Hugging Face或其他仓库加载预训练模型

数据准备与预处理

  • 数据集格式(指令微调、聊天数据、纯文本)
  • 分词与序列管理
  • 创建自定义数据集和数据加载器

微调技术

  • 标准全微调与参数高效方法
  • 应用LoRA和QLoRA进行高效微调
  • 使用Trainer API快速实验

模型评估与优化

  • 通过生成和准确性指标评估微调模型
  • 管理过拟合、泛化和验证集
  • 性能调优技巧与日志记录

部署与私有使用

  • 保存和加载模型用于推理
  • 在安全企业环境中部署微调模型
  • 本地与云端部署策略

案例研究与用例

  • 企业使用LLaMA、Mistral和Qwen的案例
  • 处理多语言和领域特定微调
  • 讨论:开源与闭源模型的权衡

总结与下一步

要求

  • 了解大语言模型(LLM)及其架构
  • 具备Python和PyTorch经验
  • 对Hugging Face生态系统有基本了解

受众

  • ML从业者
  • AI开发者
 14 小时

即将举行的公开课程

课程分类