详情

原文传递多传感器标定融合及其在结构化道路场景感知中的应用

论文题名：	多传感器标定融合及其在结构化道路场景感知中的应用
关键词：	车载传感器;单目视觉;惯性测量单元;激光雷达;标定技术;道路场景感知
摘要：	智能车辆系统的探索与研究是人工智能和模式识别领域最受关注的热点之一。智能车辆通过多种不同类型的传感器数据对车辆周围环境进行感知，从而做出更加精确的评估和决策。相机、惯性测量单元（Inertial Measurement Unit， IMU）和激光雷达（Light Detection And Ranging，LiDAR）是最常用的三种车载传感器。相机提供具有丰富的颜色和纹理信息的图像数据， IMU通过加速度计和陀螺仪采集车辆实时运动的加速度和旋转角速度数据， LiDAR提供车辆周围环境的三维点云数据。本文在单目视觉的基础上引入IMU和LiDAR，将IMU的加速度信息或LiDAR的深度信息与图像数据进行结合，提出了多传感器的标定融合方法及其在结构化道路场景感知中的应用。本论文的主要内容和创新点如下：　　（1）提出了一种基于正交假设和单应性约束的相机自标定方法，可以有效地估计相机焦距和主点坐标，解决了相机主点未知情况下的标定问题。该方法首先利用IMU数据推导出相机相对于惯性坐标系下的翻滚角和俯仰角，把相机视图的y轴与重力方向对齐，将旋转变换简化至1个自由度。然后基于地平面与重力方向间的正交假设，简化单应性矩阵与变换矩阵的关系，推导出单应性约束条件。最后利用这些约束条件，针对相机主点已知的情况提出了一种估计焦距的两点五法，针对主点未知的情况提出了一种同时估计相机焦距和主点坐标的三点五法。模拟数据和真实数据上的实验结果证明了本文方法的有效性和鲁棒性。　　（2）提出了一种基于本质矩阵和半正定规划的全局最优相对位姿估计算法。以往的位姿估计算法虽已取得了较好的效果，但这些方法都没有求解相对位姿的全局最优解。在通过（1）中的相机自标定得到相机内参后，本文利用IMU的数据简化本质矩阵，将问题转化为二次约束的二次规划模型，并利用半正定规划求解相对位姿的全局最优解。最后针对退化情况提出了一种相对位姿的最小二乘解法。实验结果表明，本文所提出的全局最优相对位姿估计算法可以有效地估计车辆相对位姿，并可作为现有方法的补充，提高运动重构系统的可靠性和速度。　　（3）提出了一种基于运动轨迹和特征匹配的相机与LiDAR间的联合标定混合方法，既解决了基于运动轨迹的方法精度不够高的问题，又解决了基于特征匹配的方法对初值敏感的问题。该方法包括初始标定和标定优化两个阶段。初始标定阶段基于传统的手眼标定理论提出了一种新的闭合解算法，将旋转矩阵化为四元数形式并通过拉格朗日乘数法对定义的目标函数求解最小值，利用（2）中得到的相机相对运动与迭代最近点（Iterative Closest Point，ICP）算法得到的LiDAR相对运动计算初始的变换矩阵。优化标定阶段借助棋盘格标定板，在初始标定结果的基础上利用ICP算法对相机坐标系和激光雷达坐标系下的点云进行配准，优化标定结果。该方法已经在64线LiDAR和相机间，以及16线LiDAR和相机间的联合标定平台下成功测试。实验结果验证了该方法的实用性。　　（4）提出了一种基于光照不变模型的道路消失点检测方法，和一种基于图搜索模型的车道线和道路可通行区域检测方法，解决了消失点检测中对光照条件敏感的问题，以及车道线和道路可行域检测中参数化几何模型无法准确拟合边界的问题。首先针对单目相机，提出了一种新的光照不变图像模型，在消除阴影的不利影响后，利用线段提取（line segmentation detection，LSD）算法和软投票机制进行道路消失点的检测。然后在消失点的约束下，基于迪杰斯特拉（Dijkstra）最短路径策略，结合（3）中相机与LiDAR标定后的融合数据，提出了一种非参数模型用于结构化道路中车道线和可通行区域的检测。该方法已在多个公开数据集的4,000多帧道路数据上进行了测试。实验结果表明，在各种数据集下本文方法均具有良好的性能。
作者：	苏颖娜
专业：	计算机科学与技术
导师：	孔慧
授予学位：	博士
授予学位单位：	南京理工大学
学位年度：	2021