一、论文题目:《Visual Search Based Indoor Localization in Low Light via RGB-D Camera》
作者:Yali Zheng, Peipei Luo, ShinanChen, Jiasheng Hao, Hong Cheng
适应场景:低光照条件下室内场景
解决问题:1)移动平台上的室内定位问题;2)在DBOW框架中融合2D红外特征及3D深度特征来提高匹配结果
框架:
A. 图像预处理
首先,利用3×3掩模对红外图像进行中值滤波去噪,然后采用直方图均衡化的方法对去噪后的红外图像进行变换。
B. 基于红外特征融合三维深度特征的图像表示
从每个增强的红外图像中提取1000个ORB特征;从每个深度图像中提取ISS特征,并使用FPFH(快速点特征直方图)将三维特征描述为一个33维的向量。
C.图像检索与数据库生成
在DBOW2框架中,将红外图像和深度图像的ORB特征和ISS+FPFH深度特征量化为稀疏的数值向量。在32维的ORB特征中填充1个0,这样它就可以与33维的深度特征向量一起生成数据库。
使用K-means聚类从训练序列离线创建字典,建立了一个层次树,并将其叶子表示为对应于ORB特征和FPFH特征的数据集中的词汇。
D. 图像匹配
首先,通过bag-of-words算法中的词汇将红外图像和深度图像对转换成向量。
相似度衡量
得分归一化
效果:
二、论文题目:《A VSLAM Fusing Visible Images and Infrared Images from RGB-D camera for Indoor Mobile Robot》
作者:Zhexiao Zhang, Zhiqian Cheng,Geng Wang, and Jimin Xu, Shanghai Jiao Tong University
该工作在上一篇文章的基础上开展。
适应场景:低照明或暗黑的室内场景
解决问题:移动机器人室内SLAM
方法:基于ORB-SLAM2
A. 红外热图像预处理
采用3x3掩模对红外图像进行中值滤波以降噪;对去噪后的红外图像进行直方图均衡化,以增加图像的强度。
B. 地图中可见光与红外图像信息的融合
可见光传感器坐标系与红外传感器坐标系的对齐
C.帧和关键帧
每一帧包含可见光图像和红外图像的ORB特征,关键帧里包含词袋向量,每一帧的位姿由视觉摄像头的位姿表示。
D. 特征匹配
可见光图像与红外图像分开进行特征匹配,地图点也分别保存。
E. Bundle Adjustment
(1)Motion-only BA
最小化可见光地图点与可见光关键帧匹配的点之间,以及红外地图点与红外关键帧匹配的点之间重投影误差。
(2)Local BA
优化局部窗口中的关键帧及关键帧中的点的重投影误差。
(3)Full BA优化所有关键帧和地图点。
F. 重定位和回环检测
分别计算可见光和红外的词袋向量相似度,再进行加权。
效果:低照明条件下效果较好。