课程大纲
第1部分——深度学习与DNN概念
人工智能、机器学习与深度学习简介
- 人工智能的历史、基本概念及常见应用,远离该领域的幻想
- 集体智能:聚合多个虚拟代理共享的知识
- 遗传算法:通过选择进化虚拟代理的群体
- 常见的机器学习:定义。
- 任务类型:监督学习、无监督学习、强化学习
- 动作类型:分类、回归、聚类、密度估计、降维
- 机器学习算法示例:线性回归、朴素贝叶斯、随机树
- 机器学习与深度学习:机器学习仍然是当今最先进的问题(随机森林与XGBoosts)
神经网络的基本概念(应用:多层感知器)
- 数学基础回顾。
- 神经网络的定义:经典架构、激活和
- 先前激活的权重,网络的深度
- 神经网络的学习定义:成本函数、反向传播、随机梯度下降、最大似然。
- 神经网络的建模:根据问题类型(回归、分类等)对输入和输出数据进行建模。维度诅咒。
- 多特征数据与信号的区别。根据数据选择成本函数。
- 通过神经网络逼近函数:介绍和示例
- 通过神经网络逼近分布:介绍和示例
- 数据增强:如何平衡数据集
- 神经网络结果的泛化。
- 神经网络的初始化和正则化:L1/L2正则化,批量归一化
- 优化和收敛算法
标准ML/DL工具
将进行简单的介绍,包括优点、缺点、在生态系统中的位置及使用。
- 数据管理工具:Apache Spark、Apache Hadoop工具
- 机器学习:Numpy、Scipy、Sci-kit
- 高级DL框架:PyTorch、Keras、Lasagne
- 低级DL框架:Theano、Torch、Caffe、Tensorflow
卷积神经网络(CNN)。
- CNN的介绍:基本原理和应用
- CNN的基本操作:卷积层、使用内核、
- 填充和步幅,特征图的生成,池化层。1D、2D和3D扩展。
- 介绍在图像分类中带来最先进技术的不同CNN架构
- LeNet、VGG网络、网络中的网络、Inception、Resnet。介绍每种架构带来的创新及其更广泛的应用(1x1卷积或残差连接)
- 使用注意力模型。
- 应用于常见分类案例(文本或图像)
- CNN用于生成:超分辨率、像素到像素分割。介绍
- 用于图像生成的主要策略,以增加特征图。
循环神经网络(RNN)。
- RNN的介绍:基本原理和应用。
- RNN的基本操作:隐藏激活、通过时间的反向传播、展开版本。
- 向门控循环单元(GRUs)和长短期记忆(LSTM)的演变。
- 介绍不同状态及这些架构带来的演变
- 收敛和梯度消失问题
- 经典架构:时间序列预测、分类...
- RNN编码器解码器类型架构。使用注意力模型。
- NLP应用:词/字符编码、翻译。
- 视频应用:预测视频序列的下一个生成图像。
生成模型:变分自编码器(VAE)和生成对抗网络(GAN)。
- 生成模型的介绍,与CNN的联系
- 自编码器:降维和有限生成
- 变分自编码器:生成模型和给定分布的近似。潜在空间的定义和使用。重参数化技巧。应用和观察到的限制
- 生成对抗网络:基础。
- 双网络架构(生成器和判别器)与交替学习,可用的成本函数。
- GAN的收敛及遇到的困难。
- 改进的收敛:Wasserstein GAN、Began。地球移动距离。
- 用于图像或照片生成、文本生成、超分辨率的应用。
深度强化学习。
- 强化学习的介绍:在定义的环境中控制代理
- 通过状态和可能的动作
- 使用神经网络近似状态函数
- 深度Q学习:经验回放,并应用于视频游戏的控制。
- 学习策略的优化。在线策略与离线策略。演员-评论家架构。A3C。
- 应用:控制单个视频游戏或数字系统。
第2部分——Theano深度学习
Theano基础
- 介绍
- 安装与配置
Theano函数
- 输入、输出、更新、给定
使用Theano进行神经网络的训练与优化
- 神经网络建模
- 逻辑回归
- 隐藏层
- 训练网络
- 计算与分类
- 优化
- 对数损失
测试模型
第3部分——使用TensorFlow的DNN
TensorFlow基础
- 创建、初始化、保存和恢复TensorFlow变量
- 输入、读取和预加载TensorFlow数据
- 如何使用TensorFlow基础设施大规模训练模型
- 使用TensorBoard可视化和评估模型
TensorFlow机制
- 准备数据
- 下载
- 输入与占位符
-
构建图S
- 推理
- 损失
- 训练
-
训练模型
- 图
- 会话
- 训练循环
-
评估模型
- 构建评估图
- 评估输出
感知器
- 激活函数
- 感知器学习算法
- 使用感知器进行二元分类
- 使用感知器进行文档分类
- 感知器的局限性
从感知器到支持向量机
- 核与核技巧
- 最大间隔分类与支持向量
人工神经网络
- 非线性决策边界
- 前馈与反馈人工神经网络
- 多层感知器
- 最小化成本函数
- 前向传播
- 反向传播
- 改进神经网络的学习方式
卷积神经网络
- 目标
- 模型架构
- 原理
- 代码组织
- 启动与训练模型
- 评估模型
将提供以下模块的基本介绍(根据时间提供简要介绍):
TensorFlow高级用法
- 线程与队列
- 分布式TensorFlow
- 编写文档并共享模型
- 自定义数据读取器
- 操作TensorFlow模型文件
TensorFlow Serving
- 介绍
- 基础服务教程
- 高级服务教程
- Inception模型服务教程
要求
具备物理、数学和编程背景,并参与过图像处理活动。
学员应事先了解机器学习概念,并应具备Python编程和库的使用经验。
客户评论 (5)
亨特很棒,非常有吸引力,知识渊博,风度翩翩。 做得很好。
Rick Johnson - Laramie County Community College
课程 - Artificial Intelligence (AI) Overview
机器翻译
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
课程 - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
课程 - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
课程 - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.