梯度下降法

梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向哪个方向移动函数值可以增长。

学习速率

概念

梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率（learning rate）。它是一种超参数或对模型的一种手工可配置的设置需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。合适的学习速率，损失函数随时间下降，直到一个底部不合适的学习速率，损失函数可能会发生震荡。

选取规则

在调整学习速率时，既需要使其足够小，保证不至于发生超调，也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习。

---

反向传播算法

反向传播算法是一种高效计算数据流图中梯度的技术，每一层的导数都是后一层的导数与前一层输出之积，这正是链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。

前馈时，从输入开始，逐一计算每个隐含层的输出，直到输出层。

然后开始计算导数，并从输出层经各隐含层逐一反向传播。为了减少计算量，还需对所有已完成计算的元素进行复用。这便是反向传播算法名称的由来。

---

常见的优化函数

优化器(optimizer)是编译模型的所需的两个参数之一。你可以先实例化一个优化器对象，然后将它传入model.compile()，或者你可以通过名称来调用优化器。在后一种情况下，将使用优化器的默认参数。

SGD：随机梯度下降优化器

随机梯度下降优化器SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们平均梯度值。

RMSprop

RMSprop增加了一个衰减系数来控制历史信息的获取多少，RMSprop会对学习率进行衰减。

建议使用优化器的默认参数（除了学习率lr，它可以被自由调节），这个优化器通常是训练循环神经网络RNN的不错选择。

Adam

Adam算法可以看做是修正后的Momentum+RMSProp算法。Adam通常被认为对超参数的选择相当鲁棒学习率建议为0.001Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。

编译部分修改，代码：

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.01), loss='categorical_crossentropy', metrics=['acc'] )

结果如下：

---

网络容量

可以认为与网络中的可训练参数成正比。

网络中的神经元数越多，层数越多，神经网络的拟合能力越强。

但是训练速度、难度越大 ，越容易产生过拟合。

如何选择超参数？

所谓超参数，也就是搭建神经网络中，需要我们自己如选择（不是通过梯度下降算法去优化）的那些参数。比如，中间层的神经元个数、学习速率。

如何提高网络的拟合能力？

增加网络容量：

增加层增加隐藏神经元个数

单纯的增加神经元个数对于网络性能的提高并不明显，增加层会大大提高网络的拟合能力，这也是为什么现在深度学习的层越来越深的原因。

注意：单层的神经元个数不能太小，太小的话会造成信息瓶颈，使得模型欠拟合。

增加两个隐藏层，增加了很多可训练参数。然后把学习率改为0.001，训练结果如下：

可见训练结果准确率高达90%以上。说明增加隐藏层层数可以提高训练的准确率。