语义SLAM研究现状总结

博客转载自:https://blog.csdn.net/xiaoxiaowenqiang/article/details/81051010 原文标题:深度学习结合SLAM 语义slam 语义分割 端到端SLAM CNN-SLAM DenseSLAM orbslam2 + ssd LSD-SLAM + CNN SemanticFusion Mask

深度学习结合SLAM 研究现状总结

本文github链接

1. 用深度学习方法替换传统slam中的一个/几个模块:

            特征提取,特征匹配,提高特征点稳定性,提取点线面等不同层级的特征点。
深度估计
位姿估计
重定位
其他
目前还不能达到超越传统方法的效果,
相较传统SLAM并没有很明显的优势(标注的数据集少且不全,使用视频做训练数据的非常少。
SLAM中很多问题都是数学问题,深度学习并不擅长等等原因)。

2. 在传统SLAM之上加入语义信息

            图像语义分割
语义地图构建
语义SLAM算是在扩展了传统SLAM问题的研究内容,现在出现了一些将语义信息集成到SLAM的研究,
比如说用SLAM系统中得到的图像之间的几何一致性促进图像语义分割,
也可以用语义分割/建图的结果促进SLAM的定位/闭环等,前者已经有了一些研究,
不过还是集中于室内场景,后者貌似还没有什么相关研究。
如果SLAM和语义分割能够相互促进相辅相成,应该能达到好的效果。
另:使用SLAM帮助构建大规模的图像之间有对应关系的数据集,
可以降低深度学习数据集的标注难度吧,应该也是一个SLAM助力深度学习的思路。

6

3. 端到端SLAM

    其实端到端就不能算是SLAM问题了吧,SLAM是同步定位与地图构建,端到端是输入image输出action,没有定位和建图。
- 机器人自主导航(深度强化学习)等

1. 用深度学习方法替换传统slam中的一个/几个模块:

A. CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

论文 
语义SLAM研究现状总结

基于CNN的单张图深度估计,语义SLAM,半稠密的直接法SLAM.
将LSD-SLAM里的深度估计和图像匹配都替换成基于CNN的方法,取得了更为robust的结果,并可以融合语义信息. 鉴于卷积神经网络(CNN)深度预测的最新进展,
本文研究了深度神经网络的预测深度图,可以部署用于精确和密集的单目重建。
我们提出了一种方法,其中CNN预测的稠密深度图与通过直接单目SLAM获得的深度测量自然地融合在一起。
我们的融合方案在图像定位中优于单目SLAM方法,例如沿低纹理区域,反之亦然。
我们展示了使用深度预测来估计重建的绝对尺度,从而克服了单眼SLAM的主要局限性之一。
最后,我们提出一个框架,从单个帧获得的语义标签有效地融合了密集的SLAM,从单个视图产生语义相干的场景重构。
两个基准数据集的评估结果显示了我们的方法的鲁棒性和准确性。

语义SLAM研究现状总结

 
上一篇:Linux 内核模块编译 Makefile


下一篇:面向对象设计模式_命令模式(Command)解读