Understanding Deep Neural Networks 培训

第 1 部分 – Deep Learning 和 DNN 概念

介绍AI， Machine Learning & Deep Learning

• 人工智慧的历史、基本概念和通常的应用远 这个领域所承载的幻想

• 集体智慧：聚合许多虚拟代理共用的知识

• 遗传演算法：通过选择进化虚拟代理群体

• 常用学习机器：定义。

• 任务类型：监督学习、无监督学习、强化学习

• 操作类型：分类、回归、聚类、密度估计、降维

• Machine Learning 演算法的示例：线性回归、朴素贝叶斯、随机树

• 机器学习VS Deep Learning：Machine Learning仍然是当今最先进的问题（Random Forests & XGBoosts）

神经网路的基本概念（应用：多层感知器）

• 提醒数学基础。

• 神经元网路的定义：经典架构、启动和

• 以前启动的权重、网路深度

• 神经元网路学习的定义：成本函数、反向传播、随机梯度下降、最大似然函数。

• 神经网路建模：根据问题类型（回归、分类......维度的诅咒。

• 多特征数据和信号之间的区别。根据数据选择成本函数。

• 神经元网路对函数的近似：表示和示例

• 神经元网路分布的近似值：表示和示例

• 数据增强：如何平衡数据集

• 神经元网路结果的泛化。

• 神经网路的初始化和正则化：L1 / L2 正则化、批量归一化

• 优化和收敛演算法

标准 ML / DL 工具

计划进行简单的介绍，包括优点、缺点、在生态系统中的位置和用途。

• 数据管理工具：Apache Spark、Apache Hadoop 工具

• Machine Learning： Numpy、Scipy、Sci-kit

• DL 高级框架：PyTorch、Keras、Lasagne

• 低级 DL 框架：Theano、Torch、Caffe、Tensorflow

卷积 Neural Networks （CNN）。

• CNN 的介绍：基本原理和应用

• CNN 的基本操作：卷积层、内核的使用、

• 填充和步幅，特性映射生成，池化层。扩展 1D、2D 和 3D。

• 介绍不同的 CNN 架构，这些架构带来了最先进的分类技术

• 图片：LeNet、VGG Networks、Network in Network、Inception、Resnet。介绍每种架构带来的创新及其更全球化的应用（卷积 1x1 或残差连接）

• 使用注意力模型。

• 适用于常见分类情况（文字或影像）

• 用于生成的CNN：超解析度、像素到图元分割。介绍

• 增加图像生成特征图的主要策略。

回圈 Neural Networks （RNN）。

• RNN 的介绍：基本原理和应用。

• RNN 的基本操作：隐藏激活、时间反向传播、展开版本。

• 向门控循环单元 （GRU） 和 LSTM（长短期记忆）的演变。

• 介绍这些架构带来的不同状态和演变

• 收敛和消失梯度问题

• 经典架构：时间序列的预测、分类 ...

• RNN 编码器解码器类型架构。使用注意力模型。

• NLP 应用程式：单词/字元编码、翻译。

• 视频应用程式：预测视频序列的下一个生成图像。

分代模型：变分自动编码器 （VAE） 和生成对抗网路 （GAN）。

• 代际模型的介绍，与CNN的连结

• 自动编码器：降维和限量生成

• 变分自动编码器：给定分布的代际模型和近似值。潜在空间的定义和用途。重新参数化技巧。观察到的应用程式和限制

• 生成对抗网路：基础知识。

• 双网路架构（生成器和判别器），具有交替学习功能，提供成本函数。

• GAN的融合和遇到的困难。

• 改进的收敛性：Wasserstein GAN，开始。地球移动距离。

• 用于生成图像或照片、文本生成、超解析度的应用程式。

深 Reinforcement Learning。

• 强化学习的演示：在定义的环境中控制智慧体

• 按状态和可能的操作

• 使用神经网路近似状态函数

• 深度 Q 学习：体验重播，并应用于视频游戏的控制。

• 优化学习策略。在政策和非政策下。Actor critic 架构。A3C 的。

• 应用：控制单个视频游戏或数字系统。

第 2 部分 – Theano for Deep Learning

Theano 基础知识

• 介绍

• 安装和配置

Theano功能

• inputs， outputs， outputs， updates， 给定

使用 Theano 训练和优化神经网路

• 神经网路建模

• Logistic 回归

• 隐藏图层

• 训练网路

• 计算和分类

• 优化

• 对数丢失

测试模型

第 3 部分 – 使用 Tensorflow 的 DNN

TensorFlow 基本资讯

• 创建、初始化、保存和恢复 TensorFlow 变数

• 馈送、读取和预载入 TensorFlow 数据

• 如何使用 TensorFlow 基础设施大规模训练模型

• 使用 TensorBoard 视觉化和评估模型

TensorFlow 机械师

• 准备数据

• 下载

• 输入和占位元

• 构建 GraphS

  • 推理

  • 损失

  • 训练

• 训练模型

  • 图表

  • 会议

  • 火车环线

• 评估模型

  • 构建 Eval Graph

  • Eval 输出

感知器

• 启动函数

• 感知器学习演算法

• 使用感知器进行二元分类

• 使用感知器进行文件分类

• 感知器的限制

从 Perceptron 到 Support 向量机

• 内核和内核技巧

• 最大边距分类和支援向量

人工 Neural Networks

• 非线性决策边界

• 前馈和反馈人工神经网路

• 多层感知器

• 最小化成本函数

• 前向传播

• 反向传播

• 改进神经网路的学习方式

卷积 Neural Networks

• GoALS

• 模型架构

• 原则

• 代码组织

• 启动和训练模型

• 评估模型

以下模组的基本介绍（根据时间提供简要介绍）：

Tensorflow - 高级用法

• 线程和伫列

• 分散式 TensorFlow

• 编写 Documentation 并共用模型

• 自定义 Data Reader

• 操作 TensorFlow 模型档

TensorFlow 份量

• 介绍

• 基本服务教程

• 高级服务教程

• Serving Inception 模型教程