详情

原文传递基于激光雷达与摄像头融合的车辆检测与跟踪研究

论文题名：	基于激光雷达与摄像头融合的车辆检测与跟踪研究
关键词：	多模态融合;激光雷达;摄像头;车辆检测;路径跟踪
摘要：	感知系统是自动驾驶系统的重要组成部分，其目标检测精度与处理速度对整个系统的性能有较大影响。多模态传感器融合感知技术，通过融合丰富的多模态数据信息，能达到较稳定可靠的检测效果，在自动驾驶领域被广为研究与应用。融合感知包括三个主要任务流程：多传感器联合标定、多模态数据融合检测以及多目标跟踪。本文基于激光雷达和摄像头融合，针对上述三个任务分别提出：LIDAR-Camera时空联合标定方法，实现精度与速度平衡的自适应融合检测网络AF-SSD以及稳定可靠的多目标跟踪系统。具体研究内容如下：　　（1）时间同步和空间同步是多模态传感器融合的前提条件，本文提出了一种适用于激光雷达与无硬件同步的摄像头进行时间同步与外参标定的算法。首先，以点云数据时间戳为基准，匹配时间最接近的图像数据进行时间同步。在该过程中，通过测量摄像头平均时延，修正图像数据时间戳。对于外参标定，利用标定板采集对应的点云与图像数据，分别基于随机采样一致性算法和N-Point透视变换算法，提取激光雷达坐标系和摄像头坐标系下的标定板平面法向量、角点坐标，利用两个坐标系下的对应特征构建联合优化函数，并采用遗传算法优化求解外参。最后利用实车平台验证标定算法具有较好的联合标定精度。　　（2）本文以实现检测准确率与处理实时性较好的平衡为出发点，设计了一种以点云特征为主，图像特征为辅的注意力融合单阶段目标检测器（AttentionFusionSingleStageDetector，AF-SSD）。网络总体架构包括点云分支与图像分支，两条支路分别提取点云特征与图像特征，然后经融合模块对两种特征进行逐点融合，最后经检测头回归预测得到检测结果。为了保证目标检测精度，采用Point-based架构作为点云分支主干网络，减少信息损失；在融合时，采用注意力机制对两种特征进行自适应融合，排除带有噪声的图像特征干扰。同时，为了保证运行速度，在Point-based主干网络中引入特征距离作为最远点采样的距离度量，去除Point-based架构中耗时的特征传递模块（FP-module），并采用基于中心点的无锚框检测头进行回归，提升了网络的处理速度。最后，基于KITTI数据集对AF-SSD进行训练测试，与现有的检测网络相比，检测精度和处理速度均有一定优势。　　（3）多目标跟踪系统主要包括状态预测与关联匹配两个过程，针对现有方法中存在的目标状态预测鲁棒性较差的问题，提出基于无迹卡尔曼滤波（UKF）与交互式多模型算法（IMM）相结合的状态预测架构。利用贝叶斯概率估计实现系统的预测模型在恒速运动模型（CV）、恒速恒转率模型（CTRV）以及恒转率恒加速度模型（CTRA）之间自适应切换，从而适应多种运动工况，使状态预测更加稳定。在关联匹配过程中，考虑到被遮挡目标易出现错误匹配的问题，在匈牙利匹配算法基础上提出级联式匹配机制，能有效改善暂时被遮挡目标的误匹配和ID切换问题。最后，基于多目标跟踪数据集对跟踪系统进行综合的定量与定性评价，匹配准确率与跟踪稳定性相较现有跟踪方法均有一定提升。
作者：	张晶华
专业：	车辆工程
导师：	何睿
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2022