3.2 Training data generation
2D correspondence generation.
使用sfm得到的3dpoint clone,然后返投得到点的匹配关系,使用一种。。。算法优化结果干掉outliers。
Matching patch generation
,输入sift的参数(x,y,si,der),输出转正的path
3.3 Geometric similarity estimation
定义了两种相似性:image 相似性和path相似性
Patch similarity
Image similarity
定义pathch形似度的平均
总结:这两个相似度其实度量了匹配的难度?比如完全相似的两张图得分接近于1 用于权重分配,
3.4 Batch construction
数据的构造很影响网络的学习能力,在L2-NET中是从整个数据集随机的选取path对,这样的话存在缺点:
1:真正在进行匹配任务的时候往往是以image pair作为输入的,而不是随机的path
2: 相似性较高的匹配会使网络迅速收敛而造成欠拟合
本文选取image pair对中的匹配path作为输入进行训练,并且如上图的d存在很多相似纹理这样增加了网络的难度,防止过拟合
3.5 Loss formulation(structured loss & geometric loss)
structure loss:
,可以看到对角线上的元素越大越好(同L2-NET)
这里叫做structure loss 是因为惩罚同一张图上的outlier。。。这个loss会造成outlier远离inlier。。。。因为惩罚的是错误匹配到正确匹配的距离
Geometric loss:
上述loss并不能使正确的匹配更加接近,只会将错误的匹配远离,因此增加几何loss
,这里的S是上述F1F2的结果,ii表示的是对角线元素,也就是正样本,结合上述Spatch正好可以作为权重加入到网络,可以认为是平均化困难样本和容易样本。
总结:1. 训练过程更像真实的匹配情况
2. 定义相似度平均化样本,收敛之后更加鲁棒
3.loss更好
缺点:依赖于sift,速度应该很慢吧?