理解深度神经网络 培训

第1部分——深度学习与DNN概念

人工智能、机器学习与深度学习简介

• 人工智能的历史、基本概念及常见应用，远离该领域的幻想
• 集体智能：聚合多个虚拟代理共享的知识
• 遗传算法：通过选择进化虚拟代理的群体
• 常见的机器学习：定义。
• 任务类型：监督学习、无监督学习、强化学习
• 动作类型：分类、回归、聚类、密度估计、降维
• 机器学习算法示例：线性回归、朴素贝叶斯、随机树
• 机器学习与深度学习：机器学习仍然是当今最先进的问题（随机森林与XGBoosts）

神经网络的基本概念（应用：多层感知器）

• 数学基础回顾。
• 神经网络的定义：经典架构、激活和
• 先前激活的权重，网络的深度
• 神经网络的学习定义：成本函数、反向传播、随机梯度下降、最大似然。
• 神经网络的建模：根据问题类型（回归、分类等）对输入和输出数据进行建模。维度诅咒。
• 多特征数据与信号的区别。根据数据选择成本函数。
• 通过神经网络逼近函数：介绍和示例
• 通过神经网络逼近分布：介绍和示例
• 数据增强：如何平衡数据集
• 神经网络结果的泛化。
• 神经网络的初始化和正则化：L1/L2正则化，批量归一化
• 优化和收敛算法

标准ML/DL工具

将进行简单的介绍，包括优点、缺点、在生态系统中的位置及使用。

• 数据管理工具：Apache Spark、Apache Hadoop工具
• 机器学习：Numpy、Scipy、Sci-kit
• 高级DL框架：PyTorch、Keras、Lasagne
• 低级DL框架：Theano、Torch、Caffe、Tensorflow

卷积神经网络（CNN）。

• CNN的介绍：基本原理和应用
• CNN的基本操作：卷积层、使用内核、
• 填充和步幅，特征图的生成，池化层。1D、2D和3D扩展。
• 介绍在图像分类中带来最先进技术的不同CNN架构
• LeNet、VGG网络、网络中的网络、Inception、Resnet。介绍每种架构带来的创新及其更广泛的应用（1x1卷积或残差连接）
• 使用注意力模型。
• 应用于常见分类案例（文本或图像）
• CNN用于生成：超分辨率、像素到像素分割。介绍
• 用于图像生成的主要策略，以增加特征图。

循环神经网络（RNN）。

• RNN的介绍：基本原理和应用。
• RNN的基本操作：隐藏激活、通过时间的反向传播、展开版本。
• 向门控循环单元（GRUs）和长短期记忆（LSTM）的演变。
• 介绍不同状态及这些架构带来的演变
• 收敛和梯度消失问题
• 经典架构：时间序列预测、分类...
• RNN编码器解码器类型架构。使用注意力模型。
• NLP应用：词/字符编码、翻译。
• 视频应用：预测视频序列的下一个生成图像。

生成模型：变分自编码器（VAE）和生成对抗网络（GAN）。

• 生成模型的介绍，与CNN的联系
• 自编码器：降维和有限生成
• 变分自编码器：生成模型和给定分布的近似。潜在空间的定义和使用。重参数化技巧。应用和观察到的限制
• 生成对抗网络：基础。
• 双网络架构（生成器和判别器）与交替学习，可用的成本函数。
• GAN的收敛及遇到的困难。
• 改进的收敛：Wasserstein GAN、Began。地球移动距离。
• 用于图像或照片生成、文本生成、超分辨率的应用。

深度强化学习。

• 强化学习的介绍：在定义的环境中控制代理
• 通过状态和可能的动作
• 使用神经网络近似状态函数
• 深度Q学习：经验回放，并应用于视频游戏的控制。
• 学习策略的优化。在线策略与离线策略。演员-评论家架构。A3C。
• 应用：控制单个视频游戏或数字系统。

第2部分——Theano深度学习

Theano基础

• 介绍
• 安装与配置

Theano函数

• 输入、输出、更新、给定

使用Theano进行神经网络的训练与优化

• 神经网络建模
• 逻辑回归
• 隐藏层
• 训练网络
• 计算与分类
• 优化
• 对数损失

测试模型

第3部分——使用TensorFlow的DNN

TensorFlow基础

• 创建、初始化、保存和恢复TensorFlow变量
• 输入、读取和预加载TensorFlow数据
• 如何使用TensorFlow基础设施大规模训练模型
• 使用TensorBoard可视化和评估模型

TensorFlow机制

• 准备数据
• 下载
• 输入与占位符
• 构建图S
  • 推理
  • 损失
  • 训练
• 训练模型
  • 图
  • 会话
  • 训练循环
• 评估模型
  • 构建评估图
  • 评估输出

感知器

• 激活函数
• 感知器学习算法
• 使用感知器进行二元分类
• 使用感知器进行文档分类
• 感知器的局限性

从感知器到支持向量机

• 核与核技巧
• 最大间隔分类与支持向量

人工神经网络

• 非线性决策边界
• 前馈与反馈人工神经网络
• 多层感知器
• 最小化成本函数
• 前向传播
• 反向传播
• 改进神经网络的学习方式

卷积神经网络

• 目标
• 模型架构
• 原理
• 代码组织
• 启动与训练模型
• 评估模型

将提供以下模块的基本介绍（根据时间提供简要介绍）：

TensorFlow高级用法

• 线程与队列
• 分布式TensorFlow
• 编写文档并共享模型
• 自定义数据读取器
• 操作TensorFlow模型文件

TensorFlow Serving

• 介绍
• 基础服务教程
• 高级服务教程
• Inception模型服务教程