这里写目录标题
- LIC-Fusion: LiDAR-Inertial-Camera Odometry
- LIC-Fusion2.0: LiDAR-Inertial-Camera Odometry with Sliding-Window Plane-Feature Tracking
- BALM: Bundle Adjustment for LiDAR Mapping. 2020 ICRV
- LiDAR-Only Odometry and Localization in 3D Point Cloud Maps
LIC-Fusion: LiDAR-Inertial-Camera Odometry
主要内容
借鉴LOAM，在MSCKF中加入基于点线/点面距离的激光测量模型，实现紧耦合的激光-惯性-视觉SLAM方案。
亮点
激光-惯性-视觉测量融合的SLAM方案，对剧烈运动和低光照等挑战环境更加鲁棒。
不足
没有关联激光测量和视觉测量。不同传感器模态的测量关联可能有利于进一步提高精度。
参考文章12
摘要
本文提出了一种紧耦合多传感器融合算法，称为LiDAR-inertial-camera fusion（LIC-FUsion）。主要贡献是最优（最多线性误差）的多模态传感器融合方案，有效地将LiDAR检测到的边缘/平面特征点融合到基于**MSCKF的VIO**框架中。此外，本文还实现了在线空间和时间传感器标定。最终，我们进行大量室内和室外实验，展示了LIC-Fusion超过了SOTA VIO和LiDAR里程计方法在估计准确性和对剧烈运动的鲁棒性上。
介绍和相关工作
VIO是跟踪3D运动的流形方法[1-6]，但是视觉受光线影响较大（低光照，变化光照）。相反，3D LiDAR能够提供更鲁棒和准确的距离测量，而不受光线影响。本工作中，我们专注激光-惯性-相机里程计。相关工作列举如下：
激光-相机里程计
LIMO [12]：LiDAR用于增强视觉特征的深度通过拟合局部平面，在自动驾驶场景中表现很好。
DEMO [13]：将LiDAR深度和视觉特征关联起来，可以看做LiDAR深度增强的RGBD系统。
V-LOAM [14]：发展了一个组合VO和LO的一般框架，使用高频VO来估计自运动，低频LO匹配地图帧并精修VO估计。
[15]：使用LiDAR的深度在直接视觉SLAM方法中。
激光-惯性-相机
Laser-visual-inertial odometry and mapping [16]: 多层序列处理惯性，相机和激光数据。但是这本质上是一种松耦合融合方法，因为视觉和激光的处理结果传递给激光进行处理，但是而不是直接处理原始的视觉和惯性数据。
本文在计算效率高的多状态约束卡尔曼滤波(MSCKF)框架下，提出了一种快速、紧耦合、单线程的激光-惯性-视觉(LIC)里程计算法，该算法具有在线时空多传感器标定功能。这项工作的主要贡献如下：
1.开发了一种紧密耦合的LIC里程计技术(称为LIC-Fusion)，通过在线空间和时间校准实现了高效的6*度姿态估计 。在MSCKF框架内，所提出的LIC-Fusion有效地结合了IMU测量值、稀疏视觉特征和两种不同的稀疏激光雷达特征(见图1)。明确地建立了标定的外部参数和对测量值的姿态估计两者之间的依赖关系模型，并进行了解析推导。
2. 对所提出的方法进行了大量的实验验证，包括室内和室外环境的真实实验，表明所提出的LIC-Fusion比最先进的方法更准确、更鲁棒。
图1:LIC-Fusion方法融合了图像中所跟踪的稀疏视觉特征和点云中提取的激光雷达特征。红色和蓝色的激光雷达点分别是边缘和平面特征。估计的轨迹用绿色标记。
结论
在本文中，我们开发了一种紧密耦合的高效多模态传感器融合算法，用于激光-惯性-相机里程计。在MSCKF框架内。在三个传感器之间进行在线时空校准，以补偿校准灵敏度，并简化传感器部署。该方法通过激光雷达扫描检测和跟踪稀疏边缘和平面特征点，并融合这些测量值和从单目图像中提取的视觉特征。因此，通过利用不同的传感模式，所提出的LIC-Fusion能够在不同的环境和主动运动下提供精确和鲁棒的6*度运动跟踪。在未来，我们将研究如何有效地集成从激光雷达和摄像机获得的环路闭合约束，以约束导航误差。
LIC-Fusion2.0: LiDAR-Inertial-Camera Odometry with Sliding-Window Plane-Feature Tracking
摘要
本文在前人工作（即LIC-Fusion）的基础上，开发了一种基于滑动窗滤波器的具有在线时空校准功能的LiDAR惯性相机里程计（LIC Fusion 2.0），提出了一种新的滑动窗口平面特征跟踪方法，以有效地处理三维LiDAR点云。特别是利用IMU数据对LiDAR点进行运动补偿后，通过滑动窗口提取和跟踪低曲率平面点。针对高质量的数据关联问题，提出了一种新的孤立点抑制准则。该方法只利用跟踪到的同一平面上的点进行平面初始化，使得平面提取具有高效性和鲁棒性。此外，我们对LiDAR-IMU子系统进行了可观测性分析，并报告了利用平面特征进行时空校准的退化情况。通过仿真验证了蒙特卡罗方法和其它方法的一致性。
提出的具有滑动窗口平面特征跟踪的lic-fusion2.0。激光雷达稳定跟踪的SLAM地标平面和摄像机的SLAM 特征点用红色表示
主要贡献如下：
• 开发了一种新的滑动窗口平面特征跟踪算法，该算法允许在滑动窗口内通过多个激光雷达扫描来跟踪三维环境平面特征。该跟踪算法被最佳地集成到我们先前的紧耦合融合框架：LIC-fusion。对于所提出的平面跟踪，提出了一种新的外点抑制准则，该准则考虑了激光雷达帧间的变换不确定性，从而实现了鲁棒匹配。该系统能合理地模拟激光雷达测量的不确定度，消除了激光雷达扫描匹配中容易出现的不一致现象。
• 对具有平面特征的激光雷达惯性相机系统进行了深入的可观测性分析，并确定了导致系统具有额外不可观测方向的退化情况。
• 在一系列蒙特卡罗模拟和真实世界数据集上对拟议的LIC-Fusion 2.0进行了广泛的实验，验证了所提议系统的一致性和准确性。
总结
本文提出了一种鲁棒、高效的滑动窗口平面特征跟踪算法来处理三维激光雷达点云。将该跟踪算法集成到我们先前的LIC-Fusion估计器中，得到了性能改进的LIC Fusion 2.0。特别是在所提出的平面特征跟踪过程中，我们提出了一种新的野值抑制准则，通过考虑激光雷达帧变换的不确定性来提高特征匹配质量。此外，我们还深入研究了线性化的LIC系统模型的可观测性，识别了具有平面特征的时空LiDAR IMU标定退化情况。所提出的方法已在模拟和实际数据集上进行了验证，并显示出比现有算法更高的精度。
BALM: Bundle Adjustment for LiDAR Mapping. 2020 ICRV
作者将BA框架引入激光建图模块，以降低漂移。代码即将开源
参考论文{ 1 2 3 }
摘要
我们提出了一个针对稀疏激光雷达点的光束调整（BA）的框架，并将其合并到激光雷达里程计和建图（LOAM）中以降低漂移。 关键帧滑动窗口上的局部BA已在视觉SLAM中得到广泛使用，并且已被证明在降低漂移方面非常有效。 但是在激光雷达映射中，几乎没有使用BA方法，因为激光雷达点云中的稀疏特征点（例如边缘和平面）使精确的特征匹配变得不可能。 我们的方法是通过最小化协方差矩阵的特征值来强制特征点位于同一边或同一平面上。 为了加快优化速度，我们以封闭形式导出了二阶分析导数。 此外，我们提出了一种新颖的自适应体素化方法来有效地搜索特征对应。 拟议的公式已合并到LOAM后端中，用于地图细化。 结果表明，尽管作为后端，但是当优化20个点云扫描时，即使以10Hz实时显示，也可以非常有效地解决本地BA。 本地BA也大大降低了LOAM漂移。 我们对BA优化和LOAM的实施是开源的，以使社区受益。
研究背景
BA在视觉SLAM领域已经取得了极大的成功，但是在激光SLAM领域的应用却少之又少。问题出在哪儿呢？作者认为，问题出在激光数据中的特征点（例如边缘点或平面点）过于稀疏，几乎无法找到准确的对应特征点，而BA又十分依赖准确的特征点对应关系，因此BA在激光SLAM中的直接应用十分困难。那作者是怎么解决上述问题的呢？作者放弃了特征点对应关系，采用点-线和点面对应关系。与视觉SLAM中存在准确的点-点对应关系不同，对于激光数据中的特征点来说，对应的边缘点落在同一个边缘上，对应的平面点落在同一个平面上。因此，作者对多帧间对应的特征点（边缘/平面点）施加如下约束：落在同一个边缘或平面上。
和本文LiDAR BA相近的主题有多视角配准，即配准多个视角下的点云。代表方法有[14]-[23]，[14]-[16]主要面向稠密点云配准，不适用稀疏点云。[17]-[23]通过两两配准点云，然后基于位姿图进一步优化多帧位姿，时间消耗过大。相关的主题还有基于滑动窗口优化的LiDAR SLAM方法[28]-[31]。但是这些方法要么没有考虑多帧间的约束，要么需要任意两帧间的约束，计算量过大。
总结
本文利用BA降低LiDAR建图的误差。BA问题构建分为两步。首先利用多帧对应同一边缘/平面的特征点构建基于点线/点面距离残差的最小二乘优化问题。接着固定位姿，先优化特征参数，发现可以得到特征的闭式最优解。从而问题转化为只和窗口内位姿相关的一般最小化问题。这步转化是本文的核心。优点是减少了残差数量，有利于提高计算效率，并且同时能够隐式地优化特征；缺点是需要计算海森矩阵，实现起来比较复杂。
LiDAR-Only Odometry and Localization in 3D Point Cloud Maps
IEEE International Conference on Robotics and Automation, 2020.
摘要
论文提出了在城市环境中驾驶车辆在配备激光雷达实现的车辆的里程计和定位的问题，在该环境中首先要生成能够进行定位任务的目标点云地图。在文章中，为校正仅仅依赖激光雷达的里程表的累积漂移，应用了一种位置识别方法来检测在3D点云数据中的线段与先验制作好的离线地图之间的几何相似位置。在提出的系统中，为了发挥激光雷达测距的精确性的优势，这里将雷达测距算法与提出的3D点云线段匹配方法相集成。此外，我们提出了其他增强方案，以减少在点云提取到的线特征与目标地图之间的错误匹配次数，并在回环检测到良好匹配时重新定义位置估计的误差实现优化。我们在不同距离和环境的多个Kitti数据集上演示了LOL系统的实用性，在每种情况下，重新定位的准确性和车辆轨迹的精度都得到了显着提高，同时仍然能够保持实时性能。
研究背景
LOAM[1]是KITTI数据集[2]中漂移最小的Odometry方法，但是它估计的运动轨迹在大场景中仍然会与真值产生较大的偏差。为了修正里程计的偏差，本文应用场景识别算法在先验离线3D点云地图中检测与当前帧几何相似的位置，进而得到当前帧与相似位置之间的相对位姿估计。最后，通过全局位姿图优化修正里程计的漂移。
文章的主要贡献是将LOAM和SegMap两种算法集成和优化到一个全新的解决方案中，从而创建了仅激光雷达的里程表和定位(LOL)方法，从而无需使用任何其他辅助传感器，例如IMU，车轮编码器和基于卫星的全球定位系统（GPS)。此外，通过使用点云数据几何特征相似性约束，在接受正确匹配项方面进行了一些其他改进。采用基于RANSAC的几何验证，一旦检测到目标地图上的线特征测量结果之间的具有匹配良好，只搜索由位置不确定性定义的当前位置附近的相似3D点云线特征。此外，我们只使用目标地图和实时提取到的线段质心之间的偏移作为先验，并通过在两个点云之间应用细粒度的ICP匹配来优化最终的转换。我们在几个Kitti数据集上测试了所提出的算法，在精度方面有了相当大的提高，而计算成本没有显著增加。
总而言之，本文通过以下贡献对现有技术进行了改进：
通过整合和补充两种上文提及LOAM和SegMap两种算法的优势，我们提出了一种新颖的仅Lidar里程表和定位系统。
我们提出了以下方案增强了算法性能：
(1)基于RANSAC的几何验证，以减少点云的线特征和离线地图之间的错误匹配次数；
(2)细粒度的ICP匹配，可以在检测到良好匹配时提高重新定位的准确性。
方法
图1. 激光里程计和定位算法的流程图，蓝色是LOAM的部分，黄色是SegMap的部分，绿色是作者添加的后处理部分。
方法的流程如图1所示。系统输入是实时的激光点云和先验点云地图。首先，我们对于新来到的激光点云，通过点云配准，激光里程计，激光建图以及位姿融合，得到当前帧的位姿估计。另一方面，对新来到的点云进行分割和描述，并在点云地图中寻找相似的分割描述，从而得到匹配的若干分割对，然后对这些分割对进行几何验证。通过验证的分割对进行ICP精修，得到当前帧在先验地图中的全局位姿。里程计位姿和全局位姿都加入位姿图中，进行增量优化。
实验验证
本文提出的方法在KITTI数据集上进行了验证。与LOAM的对比结果如图2所示。上图中红绿色点云是LOAM的建图结果，黑色是先验点云地图。下图中红色和绿色分别为LOAM和本文提出方法的运动轨迹，黑色是先验点云地图。可以看出，本文提出的方法修正了LOAM的漂移。
总结
A. 核心思想组合里程计和重定位完成基于先验地图的定位任务。
B. 优缺点
优点是使用基于场景识别方法而不是欧式距离的重定位方法。缺点1是在前端使用里程计而不是直接和先验地图匹配完成定位功能。后者的漂移比前者小很多，由于加入了先验知识。缺点2，本文声称自己的方法是实时的，但是没有给出每个模块的具体时间评测结果。有兴趣的小伙伴可以自己跑一跑代码。
C. 展望
基于深度学习的激光点云场景识别方法会越来越多地出现，并且在今后的激光SLAM/定位方法研究中，基于场景识别的回环检测/重定位方法会占据主流。因为该方法与到回环的空间距离无关，并且有的场景识别方法具有视角不变性，甚至和原来的行驶方向相反时，也能检测到回环。
A Low-cost and Accurate Lidar-assisted Visual SLAM System
作者：Yuewen Zhu, Chunran Zheng, Chongjian Yuan, Xu Huang and Xiaoping Hong
开源代码
参考论文
摘要
基于相机和激光雷达融合（SLAM）技术，是一种提高整体定位精度的有效方法，尤其是在大范围的室外场景下。低成本激光雷达（如Livox lidar）的最新发展使我们能够探索低成本、高性能的SLAM系统。本文通过分析Livox激光雷达的特点，将Livox激光雷达应用到视觉SLAM（ORBSLAM2）中，提出了CamVox。基于Livox激光雷达的非重复性，提出了一种适用于非受控场景的激光雷达相机自动标定方法。长距离探测范围也有利于更有效的SLAM系统。在同一个数据集上比较了CamVox与visual SLAM（VINS mono）和lidar SLAM（LOAM）的性能。
主要贡献
本文提出了第一个Livox激光雷达辅助视觉系统（CamVox）具有优越的实时性能。我们的CamVox SLAM基于最先进的ORB-SLAM，采用Livox激光雷达作为深度传感器，具有以下新特点：
1）预处理步骤融合激光雷达和摄像头输入。通过精确的时间同步，将非重复扫描的激光雷达点中的畸变由IMU数据校正并转换为相机帧。
2） 提出的大比例尺、高精度、高精度的激光SLAM系统，可以在大比例尺的室外环境下进行高精度的点云测绘。
3） 我们利用Livox激光雷达的非重复扫描特性，在不受控制的场景下进行摄像机和激光雷达之间的自动校准。
4） CamVox的性能是根据一些主流框架进行评估的，并且显示了非常精确的轨迹结果。并公开了这项工作的硬件、代码和数据集，希望提供一个现成的CamVox（Camera+Livox lidar）SLAM解决方案。
主要内容
该CamVox方案是基于ORB-SLAM2（RGBD模型），采用单独的RGBD输入预处理和非受控场景下的自动标定方法。该框架利用激光雷达辅助的视觉关键帧来生成局部构图，并且由于在不同级别的捆集调整（BA）和ORBSLAM2的回环闭合进行了后端轻量级位姿图优化，因此具有很高的鲁棒性。在原始ORB-SLAM2中，关键点分为近点和远点两类，其中近点是深度上具有高度确定性的点，可用于缩放、平移和旋转估计，而远点仅用于旋转估计，因此信息量较少。与传统的激光测距仪相比，激光测距仪可以获得更精确的距离。因此，相机（用于大范围探测和跟踪的高角度分辨率）和激光雷达（远距离和精确深度测量）的优点可以以紧密耦合的方式加以利用。
（a） 机器人平台。CamVox硬件安装在这个机器人的顶部。另外还安装了一个RGBD摄像机用于比较。（b） CamVox硬件特写，包括摄像机、Livox Horizon和IMU。附加GPS/RTK用于地面真值估计。（c-d）从激光雷达点云获取的RGB图像和深度图像的示例。
CamVox SLAM流程。除了ORB-SLAM2主线程外，还使用RGBD输入预处理线程将lidar和相机数据转换为RGBD格式，并可自动/手动触发自动校准线程以进行相机和激光雷达外参校准。
总结
我们提出CamVox作为一种新的低成本lidar辅助视觉SLAM框架，旨在将两者的优点结合起来，即相机的最佳角度分辨率和激光雷达的最佳深度和距离。利用Livox激光雷达独特的工作原理，开发了一种能够在非受控场景下进行自动标定的算法。在自动标定精度、关键点分类深度阈值和轨迹比较等方面对新框架进行了评估，并且它还可以在机载计算机上实时运行。