论文阅读:Lightweight Pyramid Networks for Image Deraining

    技术2022-07-11  107

    稍微整理一下这两篇轻量级的网络。内容比较少,也不写多

    2019 T-NNLS:LPNet

    这篇文章也是傅雪阳的一篇文章,主要提出了一种轻量级的金字塔网络。 工程:LPNet

    简而言之,文章简化了网络结构,在神经网络中引入了高斯拉普拉斯金字塔分解技术,采用了递归和残差网络结构构建网络,大大减少了网络参数。

    主要创新之处

    1、CNN结合经典的高斯-拉普拉斯金字塔技术,提出了一个参数较少、深度较浅、结构简单的网络。 2、网络结合了多尺度技术、递归和残差学习,同时去除了BN。

    网络结构

    整体网络结构: 子网络: 递归模块:

    首先将一个rainy图像分解成一个Laplacian金字塔,并为每一层金字塔构建一个子网络。然后,根据该层数据的具体物理特性,用各自的损失函数对每个子网络进行训练。网络输出一个去雨后图像的高斯金字塔。最后得到的结果是高斯金字塔的底层。

    具体实现:

    1、拉普拉斯金字塔

    将含雨图像X分解成一组N个级别的图像L: 其中,Gn是高斯金字塔,Gn(X)由Gn-1(X)使用一个高斯核下采样得到, 且G1(X) = X , L N (X) = G N (X)

    2、子网络

    子网络首先从第n层输入提取特征,对应图中的第一个卷积层:

    递归模块: 为了减少参数的数量,我们以递归的方式构建中间推理层,基本思想是在递归块之间共享参数。 经试验测试,递归模块采用了三个卷积层。

    为帮助传播信息和反向传播梯度,第t个递归块的输出特征映射Hn,t 由Hn,0相加计算得到;

    3、高斯金字塔重建:

    拉普拉斯金字塔的输出: 对应的高斯金字塔的重建的去雨图像:

    4、去除BN

    BN约束特征映射服从高斯分布。 不需要BN来进一步约束特征映射,因为映射问题已经变得很容易处理了。 此外,删除BN层可以充分减少GPU内存的使用,因为BN层消耗的内存与前面的卷积层相同。 将BN层从我们的网络中移除,以提高灵活性,减少参数数和计算资源。

    5、loss

    Processed: 0.011, SQL: 9