深度神经网络中的各种网络结构
导语：记录神经网络的结构及其作用
BP神经网络
摘自:https://wenku.baidu.com/view/ebea1f3570fe910ef12d2af90242a8956aecaa6b.html?fr=search-4-X-income1&fixfr=UEWnoIGmOkz5iXYEwnZKXQ%3D%3D
问题：画出BP神经网络的结构并描述其作用。
采用BP算法的神经网络模型称为BP神经网络，一般由输入层、中间层和输出层组成。中间层可以是一层或者多层，每个层又包含许多单个神经元，在BP神经网络中，层与层之间的神经元是全连接，层内部的神经元之间是无连接的。
前馈的含义：从网络结构上来说的，是前一层神经元单向馈入后一层神经元，而后面的神经元没有反馈到之前的神经元；BP算法是从网络的训练方法上来说的，即反向传播算法，是指神经元的链接权重的训练是从最后一层（输出层）开始，然后反向一次更新前一层的链接权重。
各中间层节点的激活函数使用Sigmoid函数，其输入层和输出层激励函数可以根据不同需要而异。因此，BP神经网络是前向反馈网络的一种，其网络结构可以采用简要的形式来描述,如图
BP算法
BP算法即误差反向传播（Back Progagation）算法，其主要思想是把学习过程分成两个阶段：
- 第一阶段（正向传播过程），给出输入数据通过输入层经隐层处理并计算每个单元的实际输出值
-
第二阶段（反向传播），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权重。
- 底层特征往往是泛化的、易于表达的，如纹理，颜色，边缘，棱角等。浅层（靠近输入）能提取到上述低层次特征
- 深层特征往往是复杂的、难以说明的，比如金色的头发、瓢虫的翅膀、缤纷的花儿等。深层（靠近输出）往往能提取到上述高层次特征。
BP神经网络具有如下特点：
- 任何的布尔函数都可以由两层单元的网络准确表示，但是所需的隐藏层神经元的数量岁网络输入数量呈指数级增长。
- 任意连续函数都可以由一个两层的网络以任意精度逼近。这里的两层网络是指使用sigmoid单元、输出层使用非线性阈值的线性单元；
- 任意函数都可以由一个三层的网络以任意精度逼近。其两层隐藏层使用sigmoid单元、输出层使用非阈值的线性单元。