基于ORB

    技术2022-07-11  84

    基于ORB_SLAM2的可见光结合红外的定位及建图

    一、论文题目:《Visual Search Based Indoor Localization in Low Light via RGB-D Camera》

    作者:Yali Zheng, Peipei Luo, ShinanChen, Jiasheng Hao, Hong Cheng

    适应场景:低光照条件下室内场景

    解决问题:1)移动平台上的室内定位问题;2)在DBOW框架中融合2D红外特征及3D深度特征来提高匹配结果

    框架:

    A. 图像预处理

    首先,利用3×3掩模对红外图像进行中值滤波去噪,然后采用直方图均衡化的方法对去噪后的红外图像进行变换。

    B. 基于红外特征融合三维深度特征的图像表示

    从每个增强的红外图像中提取1000个ORB特征;从每个深度图像中提取ISS特征,并使用FPFH(快速点特征直方图)将三维特征描述为一个33维的向量。

    C.图像检索与数据库生成

    在DBOW2框架中,将红外图像和深度图像的ORB特征和ISS+FPFH深度特征量化为稀疏的数值向量。在32维的ORB特征中填充1个0,这样它就可以与33维的深度特征向量一起生成数据库。

    使用K-means聚类从训练序列离线创建字典,建立了一个层次树,并将其叶子表示为对应于ORB特征和FPFH特征的数据集中的词汇。

    D. 图像匹配

    首先,通过bag-of-words算法中的词汇将红外图像和深度图像对转换成向量。

    相似度衡量

    得分归一化

    效果:

    二、论文题目:《A VSLAM Fusing Visible Images and Infrared Images from RGB-D camera for Indoor Mobile Robot》

    作者:Zhexiao Zhang, Zhiqian Cheng,Geng Wang, and Jimin Xu, Shanghai Jiao Tong University

    该工作在上一篇文章的基础上开展。

    适应场景:低照明或暗黑的室内场景

    解决问题:移动机器人室内SLAM

    方法:基于ORB-SLAM2

    A. 红外热图像预处理

    采用3x3掩模对红外图像进行中值滤波以降噪;对去噪后的红外图像进行直方图均衡化,以增加图像的强度。

    B. 地图中可见光与红外图像信息的融合

    可见光传感器坐标系与红外传感器坐标系的对齐

    C.帧和关键帧

    每一帧包含可见光图像和红外图像的ORB特征,关键帧里包含词袋向量,每一帧的位姿由视觉摄像头的位姿表示。

    D. 特征匹配

    可见光图像与红外图像分开进行特征匹配,地图点也分别保存。

    E. Bundle Adjustment

    (1)Motion-only BA

    最小化可见光地图点与可见光关键帧匹配的点之间,以及红外地图点与红外关键帧匹配的点之间重投影误差。

    (2)Local BA

    优化局部窗口中的关键帧及关键帧中的点的重投影误差。

    (3)Full BA优化所有关键帧和地图点。

    F. 重定位和回环检测

    分别计算可见光和红外的词袋向量相似度,再进行加权。

    效果:低照明条件下效果较好。

    Processed: 0.010, SQL: 9