详情

原文传递基于点云和图像融合的智能驾驶目标检测算法改进研究

论文题名：	基于点云和图像融合的智能驾驶目标检测算法改进研究
关键词：	智能汽车;真实行车场景;3D目标检测;数据融合;环境感知
摘要：	随着汽车保有量的上升，城市交通问题日益严重，道路交通事故频发。智能汽车通过辅助驾驶员完成驾驶过程，逐渐成为城市交通问题的重要解决方案。环境感知作为智能驾驶系统中最为重要的模块之一，其性能的好坏直接影响智能汽车决策规划和运动控制的水平，良好的感知性能是智能汽车安全行驶的保障。　　近年来，以深度学习为核心的智能汽车环境感知方法逐渐成为新的发展方向。虽然在点云和图像融合感知方面取得了一系列的研究成果，但是仅适用于环境良好的简单场景。在日常的行车场景下，常面临目标相互遮挡、天气状况恶劣、光照条件不足等情况，导致传感器无法采集到有效信息，进而影响算法的检测性能。因此，在复杂多变的行车场景下如何实现对目标准确且鲁棒的检测，是当下智能汽车融合感知算法亟待解决的问题。基于现有典型3D目标检测算法在真实行车场景下检测能力较差的问题，本文提出了一种适用智能汽车的数据融合方法，并开发了一种面向行车场景的3D目标检测算法，具体研究内容如下：　　（1）智能汽车环境感知系统研究。考虑到现有的智能汽车环境感知系统存在多种输入数据，为了实现3D目标检测算法的高效开发，首先分析环境感知系统中常用的车载传感器性能以及传感器组合方案，确定采用摄像头和激光雷达作为本文目标检测算法的数据源；然后基于传感器的布置方案，分析环境感知系统架构，得出良好的环境感知系统应当在多传感器数据融合的基础上，充分利用不同传感器优势，为目标检测算法提供全面且冗余的环境信息。　　（2）针对现有数据融合方式的改进研究。首先分析了多传感器数据融合原理及融合级别，确定本文采用神经网络对点云和图像信息进行特征级的融合。然后，研究数据融合的关键技术，进一步分析代表性的多传感器融合的3D目标检测算法，总结归纳其数据融合方式，发现当前具有代表性的融合方式存在依赖图像或点云数据进行检测的特点，难以适应复杂多变的行车场景带来的传感器采集信息能力下降的状况。最后，基于良好环境感知系统特点，本文提出了一种适用于智能汽车的数据融合方式。　　（3）提出了一种行车场景下的3D目标检测算法。基于改进的数据融合方式，提出了一种真实行车场景下点云和图像融合的3D目标检测算法PINet（PointCloudwithImages3dObjectDetectionNetwork）。其中设计跳跃特征金字塔模块，使融合的特征图同时具备深层的语义信息与浅层的细节信息，使网络可以应对不同尺度的物体检测。设计动态特征图融合模块，使得网络自行确定不同数据中特征元素的重要程度并为其赋值权重，引导网络关注更有价值的信息，实现两分支信息的有效融合。　　（4）模型评估实验及结果分析。首先，将PINet与具有代表性的3D目标检测算法对比评估。结果表明，本文算法全类平均精度（meanAveragePrecision，mAP）达到56.8%，nuScenes检测分数（nuScenesDetectionScores，NDS）达到67.2%，优于其他3D目标检测算法。然后，通过消融实验验证了跳跃特征金字塔模块、动态特征融合模块的有效性。最后，在不同交通状况、恶劣天气条件、较差光照条件三个维度上，定性评估了本文算法的检测效果，直观验证了本文算法在真实行车场景下的优势。　　综上，本文围绕智能汽车目标检测算法展开了系统性的研究。通过分析环境感知系统，确定了系统特性和算法数据源。总结目标检测算法的数据融合方式，结合环境感知系统特性提出了改进方案，并依此设计了目标检测算法，实现了行车场景下准确且鲁棒的3D目标检测，为智能汽车目标检测技术提供了有利的研究基础和技术保障。
作者：	王一斌
专业：	机械工程(车身工程)
导师：	陈鑫
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2023