理解深度神经网络 培训

第1部分——深度学习与DNN概念

人工智能、机器学习与深度学习简介

• 人工智能的历史、基本概念和常见应用，远离该领域承载的幻想
• 集体智能：聚合多个虚拟代理共享的知识
• 遗传算法：通过选择进化一群虚拟代理
• 常见学习机器：定义。
• 任务类型：监督学习、无监督学习、强化学习
• 动作类型：分类、回归、聚类、密度估计、降维
• 机器学习算法示例：线性回归、朴素贝叶斯、随机树
• 机器学习与深度学习：机器学习至今仍是先进水平的领域（随机森林与XGBoost）

神经网络的基本概念（应用：多层感知器）

• 数学基础回顾。
• 神经元网络的定义：经典架构、激活以及
• 先前激活的加权、网络深度
• 神经元网络学习的定义：代价函数、反向传播、随机梯度下降、最大似然。
• 神经网络建模：根据问题类型（回归、分类等）对输入和输出数据进行建模。维度灾难。
• 多特征数据与信号的区别。根据数据选择代价函数。
• 通过神经元网络逼近函数：介绍与示例
• 通过神经元网络逼近分布：介绍与示例
• 数据增强：如何平衡数据集
• 神经元网络结果的泛化。
• 神经网络的初始化和正则化：L1/L2正则化、批归一化
• 优化与收敛算法

标准ML/DL工具

计划对其优势、劣势、在生态系统中的位置及用途进行简单介绍。

• 数据管理工具：Apache Spark、Apache Hadoop工具
• 机器学习：Numpy、Scipy、Sci-kit
• 深度学习高级框架：PyTorch、Keras、Lasagne
• 低级深度学习框架：Theano、Torch、Caffe、Tensorflow

卷积神经网络（CNN）。

• CNN介绍：基本原理和应用
• CNN的基本操作：卷积层、核的使用、
• 填充与步幅、特征图生成、池化层。1D、2D和3D扩展。
• 介绍在分类领域带来先进水平的不同CNN架构
• 图像：LeNet、VGG网络、Network in Network、Inception、Resnet。介绍每种架构带来的创新及其更广泛的应用（1x1卷积或残差连接）
• 注意力模型的使用。
• 应用于常见分类案例（文本或图像）
• 用于生成的CNN：超分辨率、像素到像素分割。介绍
• 用于图像生成的特征图增大的主要策略。

循环神经网络（RNN）。

• RNN介绍：基本原理和应用。
• RNN的基本操作：隐藏激活、随时间反向传播、展开版本。
• 向门控循环单元（GRU）和LSTM（长短期记忆）的演进。
• 介绍不同状态以及这些架构带来的演进
• 收敛和梯度消失问题
• 经典架构：时间序列预测、分类等
• RNN编码器-解码器类型架构。注意力模型的使用。
• NLP应用：词/字符编码、翻译。
• 视频应用：预测视频序列中下一个生成的图像。

生成模型：变分自编码器（VAE）和生成对抗网络（GAN）。

• 生成模型介绍，与CNN的联系
• 自编码器：降维和有限生成
• 变分自编码器：生成模型和给定数据分布的近似。潜在空间的定义和使用。重参数化技巧。观察到的应用和局限性
• 生成对抗网络：基本原理。
• 双网络架构（生成器和判别器），交替学习，可用的代价函数。
• GAN的收敛及遇到的困难。
• 改进收敛：Wasserstein GAN、Began。推土机距离。
• 图像或照片生成、文本生成、超分辨率方面的应用。

深度强化学习。

• 强化学习介绍：在由状态和可能动作定义的环境中控制代理
• 由状态和可能动作
• 使用神经网络近似状态函数
• 深度Q学习：经验回放，以及应用于视频游戏控制。
• 学习策略优化。On-policy与off-policy。Actor-critic架构。A3C。
• 应用：控制单个视频游戏或数字系统。

第2部分——用于深度学习的Theano

Theano基础

• 简介
• 安装与配置

Theano函数

• 输入、输出、更新、givens

使用Theano训练和优化神经网络

• 神经网络建模
• 逻辑回归
• 隐藏层
• 训练网络
• 计算与分类
• 优化
• 对数损失

测试模型

第3部分——使用Tensorflow的DNN

TensorFlow基础

• 创建、初始化、保存和恢复TensorFlow变量
• 馈送、读取和预加载TensorFlow数据
• 如何使用TensorFlow基础设施大规模训练模型
• 使用TensorBoard可视化和评估模型

TensorFlow机制

• 准备数据
• 下载
• 输入和占位符
• 构建图
  • 推理
  • 损失
  • 训练
• 训练模型
  • 图
  • 会话
  • 训练循环
• 评估模型
  • 构建评估图
  • 评估输出

感知器

• 激活函数
• 感知器学习算法
• 使用感知器进行二元分类
• 使用感知器进行文档分类
• 感知器的局限性

从感知器到支持向量机

• 核函数与核技巧
• 最大间隔分类与支持向量

人工神经网络

• 非线性决策边界
• 前馈和反馈人工神经网络
• 多层感知器
• 最小化代价函数
• 前向传播
• 反向传播
• 改进神经网络的学习方式

卷积神经网络

• 目标
• 模型架构
• 原理
• 代码组织
• 启动和训练模型
• 评估模型

对以下模块进行基本介绍（根据时间可用性提供简要介绍）：

Tensorflow——高级用法

• 线程与队列
• 分布式TensorFlow
• 编写文档和分享模型
• 自定义数据读取器
• 操作TensorFlow模型文件

TensorFlow Serving

• 简介
• 基础Serving教程
• 高级Serving教程
• Serving Inception模型教程