这是一篇超分领域的一篇文章,提出了一种超分金字塔的结构,比较经典。只做一个简单的记录
2017CVPR:LapSRN
这篇文章是偶然看到的,是2017年CVPR超分领域的一篇文章,主要是提出了一种拉普拉斯金字塔超分网络。
文章主要提出了一个拉普拉斯金字塔超分辨率网络(LapSRN)来逐步重建高分辨率图像的子带残差。在每个金字塔层,模型以粗分辨率特征图作为输入,预测高频残差,并使用转置卷积向上采样到更细的层。不需要双三次插值作为预处理步骤,因此大大降低了计算复杂度。我们使用鲁棒的Charbonnier损失函数对提出的LapSRN进行深度监督训练,并实现高质量的重构。此外,网络通过一个渐进的重建的前馈产生多尺度的预测,从而促进资源敏感的应用。
LapSRN直接从低分辨率图像中提取特征图,并联合优化带有深度卷积层的上采样滤波器,以预测子带残差。由于能够更好地处理异常值,Charbonnier损失的深度监管提高了性能。因此,模型可以更好地学习复杂的映射,并有效地减少了人工伪影。
网络结构
其中,红色箭头是卷积,蓝色箭头是上采样,绿色箭头是元素级相加,橙色箭头是循环层。
LapSRN:
可以看到,整个LapSRN网络由特征提取和图像重建两个分支组成。
具体实现:
1、特征提取:
在s层,特征提取分支由d个卷积层和1个上采样层组成,将提取的特征按2的尺度向上采样。 每个上采样后的卷积层的输出连接到两个不同的层: (1)一个卷积层用于重建s级的残差图像,以及(2)一个卷积层用于提取s+1级更细的特征。 网络在粗分辨率下执行特征提取,而在较细分辨率下仅使用一个上采样层生成特征图。
2、图像重建
在s层,输入图像上采样为2,并设置了一个上采样层。我们用双线性核初始化这一层,并允许它与所有其他层共同优化。然后,将上采样图像(使用元素求和)与来自特征提取分支的预测残差图像相结合,生成高分辨率的输出图像。 将输出的s层的高分辨率图像送入s+1层图像重建分支。
3、损失函数
损失函数采用了鲁棒的Charbonnier 损失函数:
拆分符