GeoDesc: Learning Local Descriptors by Integrating Geometry Constraints(2018)(六)

    技术2022-07-10  195

    3.2 Training data generation

        2D correspondence generation.

            使用sfm得到的3dpoint clone,然后返投得到点的匹配关系,使用一种。。。算法优化结果干掉outliers。

        Matching patch generation

            ,输入sift的参数(x,y,si,der),输出转正的path

     

    3.3 Geometric similarity estimation

        定义了两种相似性:image 相似性和path相似性

        Patch similarity

            

        Image similarity

            定义pathch形似度的平均

     

     

    总结:这两个相似度其实度量了匹配的难度?比如完全相似的两张图得分接近于1 用于权重分配,

     

    3.4 Batch construction

        数据的构造很影响网络的学习能力,在L2-NET中是从整个数据集随机的选取path对,这样的话存在缺点:

               1:真正在进行匹配任务的时候往往是以image pair作为输入的,而不是随机的path

                2: 相似性较高的匹配会使网络迅速收敛而造成欠拟合

        本文选取image pair对中的匹配path作为输入进行训练,并且如上图的d存在很多相似纹理这样增加了网络的难度,防止过拟合

    3.5 Loss formulation(structured loss & geometric loss)

     

    structure loss:

     

    ,可以看到对角线上的元素越大越好(同L2-NET)

    这里叫做structure loss 是因为惩罚同一张图上的outlier。。。这个loss会造成outlier远离inlier。。。。因为惩罚的是错误匹配到正确匹配的距离

    Geometric loss:

        上述loss并不能使正确的匹配更加接近,只会将错误的匹配远离,因此增加几何loss

    ,这里的S是上述F1F2的结果,ii表示的是对角线元素,也就是正样本,结合上述Spatch正好可以作为权重加入到网络,可以认为是平均化困难样本和容易样本。

     

     

    总结:1. 训练过程更像真实的匹配情况

                2. 定义相似度平均化样本,收敛之后更加鲁棒

                3.loss更好

    缺点:依赖于sift,速度应该很慢吧?

    Processed: 0.010, SQL: 9