对《Visualizing and Understanding Convolutional Networks》理解

    技术2024-08-03  70

    1.文章内容的介绍

    这篇论文的下载地址:https://arxiv.org/abs/1311.2901 这篇文章主要解决以下两个问题:

    However there is no clear understanding of why they perform so well(卷积神经网络特征提取方面表现好的原因?);how they might be improved.(如何改进这个卷积神经网络结构?)。

      卷积神经网络在ImageNet的基准测试中比之前的模型有很大的改善,同时迁移到其他的数据集也表现良好,同时文章使用一种可视化的技术,可以用来观测模型特征提取层和分类器在模型训练过程中的起到的作用,以便于改进模型的结构。

    2.文章内容的描述

      卷积和反卷积的结构:通过反卷积的网络结构模拟卷积网络结构,使用数据可视化的方式,理解卷积层每层的作用。如图1所示,图的左半部分是反卷积网络结构,右边是卷积网络结构。 Each layer consists of(卷积网络结构主要包含:)

    convolution of the previous layer output (or, in the case of the1st layer, the input image) with a set of learned fifilters; (局部感受野)passing the responses through a rectifified linear function (relu(x) = max(x, 0))(非线性的结构映射);[optionally] max pooling over local neighborhoods (最大池化)and

    [optionally] a local contrast operation that normalizes the responses across feature maps(归一化);

    反卷积结构:   (i) unpool, (反池化:恢复记录池化过程中最大值的位置,其余位置设置为0(即池化的近似的逆);

      (ii) rectify(重建relu非线性)对unpooled Maps 的特征进行非线性的映射 ;   (iii) fifilter to reconstruct the activity in the layer beneath that gave rise to the chosen activation(使用卷积核的转置与Rectified Unpooled Maps 进行卷积运算)。

      卷积的可视化:通过在模型训练过程中观察不同特征层的变化和整个模型构建过程层次的特征;通过选择不同的模型结构和随机的遮挡一部分特征,观测每个结构的实际作用。   实验:通过改变模型的结构,如过滤器的尺寸大小(11x11,7x7,5x5),滑动步长(2,3,4),卷积层数,全连接层等,发现这些结构的改变都会对实际的效果产生较大的影响。通过调节这些超参数,可以获得最佳的结果。

    3.总结

      卷积网络的运用可以更好获取复杂的特征,学习到更多的非线性的特征,在图像特征提取方面表现出良好的性能,同时也存在一些问题:需要更多的数据;卷积计算量大,需要更多的GPU资源;模型变得更加复杂,容易过拟合。   文章的主要贡献在与使用可视化的技术手段,通过实验的方式比较直观的了解卷积网络在特征提取过程和模型训练过程中所起的作用,有利于优化整个模型的网络结构,在减少模型复杂度的同时,提高模型的性能。

    Processed: 0.013, SQL: 9