卷积神经网络(CNN)介绍06-损失函数

常见的损失函数和代价函数

分类和回归常用的损失函数如下：

公式见网页或者博客

损失函数修改策略

针对利用Loss修正存在类别不平衡问题的情况，详见本人博客《类别不平衡策略》文章的介绍。

针对利用修改Loss来训练差异性较小的样本，如人脸等。为了同一类的特征更近，不同的类的特征更远，在人脸识别领域已提出多种loss。 文章人脸的各种loss中简介了人脸识别领域大部分有名的loss函数以及论文目录，有需要的自行查看。

loss曲线

★ 太高的学习率，loss曲线会很奇怪，很容易出现参数爆炸现象。

★ 低学习率，loss会下降很慢；高学习率，一开始loss会下降很快，但易跌入局部极小值；好的学习率，loss应平滑下降。

★ 若loss曲线表现出线性(下降缓慢)，表明学习率太低；若loss不再下降，表明学习率太高陷入局部极小值。

精确率曲线

当验证集上精确度收敛时，训练acc与验证acc曲线间隔过大，表明出现了过拟合；当间隔小，但acc比较低时，说明模型学习能力太低，欠拟合。