论文阅读:Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

    技术2022-07-11  81

    这是一篇超分领域的一篇文章,提出了一种超分金字塔的结构,比较经典。只做一个简单的记录

    2017CVPR:LapSRN

    这篇文章是偶然看到的,是2017年CVPR超分领域的一篇文章,主要是提出了一种拉普拉斯金字塔超分网络。

    文章主要提出了一个拉普拉斯金字塔超分辨率网络(LapSRN)来逐步重建高分辨率图像的子带残差。在每个金字塔层,模型以粗分辨率特征图作为输入,预测高频残差,并使用转置卷积向上采样到更细的层。不需要双三次插值作为预处理步骤,因此大大降低了计算复杂度。我们使用鲁棒的Charbonnier损失函数对提出的LapSRN进行深度监督训练,并实现高质量的重构。此外,网络通过一个渐进的重建的前馈产生多尺度的预测,从而促进资源敏感的应用。

    LapSRN直接从低分辨率图像中提取特征图,并联合优化带有深度卷积层的上采样滤波器,以预测子带残差。由于能够更好地处理异常值,Charbonnier损失的深度监管提高了性能。因此,模型可以更好地学习复杂的映射,并有效地减少了人工伪影。

    网络结构

    其中,红色箭头是卷积,蓝色箭头是上采样,绿色箭头是元素级相加,橙色箭头是循环层。

    LapSRN:

    可以看到,整个LapSRN网络由特征提取和图像重建两个分支组成。

    具体实现:

    1、特征提取:

    在s层,特征提取分支由d个卷积层和1个上采样层组成,将提取的特征按2的尺度向上采样。 每个上采样后的卷积层的输出连接到两个不同的层: (1)一个卷积层用于重建s级的残差图像,以及(2)一个卷积层用于提取s+1级更细的特征。 网络在粗分辨率下执行特征提取,而在较细分辨率下仅使用一个上采样层生成特征图。

    2、图像重建

    在s层,输入图像上采样为2,并设置了一个上采样层。我们用双线性核初始化这一层,并允许它与所有其他层共同优化。然后,将上采样图像(使用元素求和)与来自特征提取分支的预测残差图像相结合,生成高分辨率的输出图像。 将输出的s层的高分辨率图像送入s+1层图像重建分支。

    3、损失函数

    损失函数采用了鲁棒的Charbonnier 损失函数:

    拆分符

    Processed: 0.011, SQL: 9