论文阅读:A Deep Tree-Structured Fusion Model for Single Image Deraining

    技术2022-07-11  105

    也是一篇轻量级的网络,简要梳理一下

    2018 ArXiv:树状网络

    也是傅雪阳的一篇文章,主要提出了一种树状的特征融合网络,文章使用扩张卷积作为基本块,同时减少了网络参数。

    文章主要提出了一种基于特征融合的树状结构融合模型。 网络使用扩张卷积作为基本模块来捕捉雨的空间结构。 图像的相邻特征之间包含着大量的冗余信息,可以通过分层融合相邻特征来减少冗余。 可以有效地利用空间信息和内容信息来使模型更加紧凑。

    关键词: 树状结构+扩张卷积+特征融合+减少参数

    网络结构:

    整体网络结构由一个特征提取层,八个扩张卷积模块和一个重建层组成。 由图可知,网络输入一个雨图 X,然后首先是进行特征图的提取,接着是一组8个扩张卷积模块形成树形结构,并不断进行特征融合,然后得到重建后的特征图,提取出估计的残差部分 R,最后得到去雨的图像Y。

    具体实现:

    1、网络组成

    特征提取: 扩张卷积模块: 扩张卷积增加感受野,通过将同一个滤波器放大到不同的尺度来保持分辨率。为了减少参数的数量,我们在每个块中使用一个具有不同扩展因子的卷积核。计算得到各扩张卷积块内的多尺度特征: WDF和b参数对于不同的扩展卷积是共享的。多尺度特征通过树状结构聚合来融合,生成单尺度特征。

    使用跳跃连接来生成每个模块的输出:

    2、树状特征融合

    设计了一个树状结构的操作来融合相邻的特征,使用1×1卷积来允许网络自动执行这种融合。

    融合: 其中Z1和Z2是具有相同维度的相邻特征,concat表示连接。Wfuse是一个大小为1×1的内核,用于融合Z1和Z2,融合后生成的Z与Z1和Z2的尺寸相同。

    相邻特征融合减少冗余:

    3、损失函数

    损失函数采用了MSE和SSIM损失。

    分页

    Processed: 0.009, SQL: 9