引言
传感器之间的标定是多传感器融合的前提,最常见的是激光雷达传感器和相机传感器之间的组合。相机便宜且便于携带,但数据的质量对光线敏感。激光雷达可以直接获得相对精确的三维信息,但是数据稀疏且缺乏纹理特征。将两者数据相结合,就要进行标定。
现有在线标定方法主要依赖环境特征,其外参标定效果受标定环境和振动等问题影响较大[1]。离线标定方法中基于目标的方法需要用户专门设计的校准目标,如圆形图案[2]、棋盘格[3],这限制了这种方法的实用性。基于无目标的方法大致分为:基于最大互信息[4]受强度和灰度信息的限制,基于神经网络[5]的方法需要更多的数据训练,缺乏几何约束,基于特征的方法[6]通常使用场景中的点噪声很敏感。针对上述问题,提出了一种三维激光雷达和可见光相机的外参标定方法,通过在人工建造中寻找平行线特征,利用点到线的约束关系求得相对位置关系,使用非线性优化的方法优化标定结果。
1 外参标定方法
1.1 标定的数学模型
在这里,激光雷达坐标系被认为是世界坐标系,世界坐标系中的一个点到图像点的变换关系为:
1.2 线特征提取
通过两步法,先求解旋转矩阵R,再以R为已知量求得平移矢量t。为了解决这个问题,我们显然需要找到一些在激光雷达点云和图像中都能检测到的特征。在本文中,我们选择常见建筑物的角落来说明我们的方法,因为它们通常有尖锐的边缘和可用的线条纹理.
为了解决旋转矩阵,通常需要方向向量对。考虑到普通场景中有足够多的平行线,我们可以通过基于线的特征的3D-2D无穷大点对来获得矢量对。由于三维平行线在透视变换后不再平行,其投影线的交点被写成X∞=[X₁ X₂ X₃]T。通过无穷点和相机内参,进而得到三个边缘线的单位向量c1、c2和c3。。
1.3 非线性优化
我们构造成本函数,然后最小化反投影误差,使用线的交点来建立约束关系。 假设我们已经收集n份数据, 对于每个集合我们可以获得2D和3D线的交点x和X,使用L-M非线性优化算法。对于精度很低的初始值,我们将其视为异常值并且在优化之前过滤他们。
2实验结果与分析
2.1 硬件系统
我们在室外进行了实验以证明我们方法的真实性并评估其对噪声的稳健性。实验使用锐龙R7 5800H版Lenovo XiaoXinPro16笔记本处理点云和影像数据,并配置了一块GTX1650的独显。通过实验数据获取的结果,我们可以量化我们的方法在真实环境中的准确性。
2.2 实验结果与分析
我们通过非线性优化的方法迭代求解两个传感器的相对位姿,随机选取10个建筑物角点,通过迭代优化后的位姿参数,从点云中反投影到图像上,对于每个角点,它的反投影像素误差以及姿态的参数如下图、表所示:
根据表1和图3的结果可知:旋转和平移参数的误差很小且误差变化比较稳定,在随机选取的角点中,计算得到的反投影误差,平均值为2个像素,这个精度可以达到基于特制标定板的精度标准。在标定过程,此方法所耗用的时间短,无需特定的标定物,同时也得到一个高精度的结果。
3 结术语
我们在文中提出了一种激光雷达和相机的外在校准方法,无需准备具体的校准对象。场景中存在足够多的平行线,我们可以在图像上获得它们相应的无穷远点。通过从二维无限点获得方向向量可以解决旋转矩阵,t也可以通过点对线约束线性地解决。实验表明,我们的算法可以在常见的室外场景中准确地校准相机和激光雷达的外在参数。同时,该算法也可以应用于任何具有类似平行线特征的场景。
参考文献
[1]. Wang, W., et al., SOIC: Semantic Online Initialization and Calibration for LiDAR and Camera. 2020.
[2]. Fremont, V., S.A. Rodriguez F. and P. Bonnifait, Circular Targets for 3D Alignment of Video and Lidar Sensors. Advanced Robotics, 2012. 26(18): p. 2087-2113.
[3]. Park, Y., et al., Calibration between Color Camera and 3D LIDAR Instruments with a Polygonal Planar Board. Sensors, 2014. 14(3): p. 5333-5353.
[4]. Pandey, G., et al., Automatic Extrinsic Calibration of Vision and Lidar by Maximizing Mutual Information. Journal of Field Robotics, 2015. 32(5): p. 696-722.
[5]. Iyer, G., et al. CalibNet: Geometrically Supervised Extrinsic Calibration using 3D Spatial Transformer Networks. 2018: IEEE.
[6]. Gong, X., Y. Lin and J. Liu, 3D LIDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron. Sensors, 2013. 13(2): p. 1902-1918.
作者简介:何江(1998-),男,汉族,籍贯:四川宜宾人学历:硕士在读,研究方向:测绘科学与技术,单位:成都理工大学地球科学学院