原文传递
基于跨模态数据融合的道路车辆检测算法研究
| 论文题名： | 基于跨模态数据融合的道路车辆检测算法研究 |
| 关键词： | 自动驾驶;车辆检测;点云数据;视觉信息;跨模态融合 |
| 摘要： | 随着自动驾驶技术的不断发展，智能汽车的应用场景越来越广泛，凸显出广阔的发展前景，但随之而来的安全隐患也亟待解决。对于智能汽车而言，环境感知系统是实现安全自动驾驶的关键，行驶车辆检测是感知系统最重要的功能之一。现阶段单一模态的传感器数据在车辆检测任务中的应用局限性较强，例如点云由于其不规则性处理时容易丢失局部信息，二维图像缺乏空间深度表达能力。因此，本文针对上述问题提出了一种基于点云与图像跨模态数据融合的车辆检测方法，深入探讨了两种数据的特征提取与融合，本文的主要工作如下： （1）针对原始点云数据因其无序性导致局部特征丢失而难以直接进行特征提取和目标检测的问题，提出了一种多级特征提取的点云分割方法。该方法在PointNet网络的基础上进行了如下改进和优化：引入多层局部采样，通过在点云的局部区域进行叠代采样并重复多次使用PointNet进行操作，为点云分割和后续的检测任务提供精确的特征提取性能；引入抽象特征向量对采样点的选取进行约束，使得提取的特征更加精准，并且具有更高级的语义信息。实验表明，使用改进后的网络能够有效提升算法的点云分割能力。 （2）针对目前已有的检测方法在实际应用中容易受到其他目标与背景干扰的问题，提出了一种基于视锥候选区域的跨模态数据融合车辆检测方法。该方法首先使用基于区域候选网络的二维检测算法Faster-RCNN对图像进行特征提取，快速生成二维候选区域，接着利用点云的深度信息将二维候选区域提升为三维空间中的视锥候选区域，然后使用（1）中提出的多级特征提取分割方法对点云进行特征提取，实现在三维空间中对目标车辆点云的精确实例分割，最后设计了一种基于锚点框偏移的特征级融合方案将图像与点云数据进行融合，再通过回归与坐标系变换实现对车辆的三维边界框估计。 （3）针对提出的跨模态数据融合车辆检测算法，在KITTI数据集上进行验证，并与其他优秀的检测算法进行对比。实验表明，本文算法在KITTI验证集的车辆类别上，总体平均精度和简单、中等难度的3D AP获得了state-of-the-art的结果，分别比次高的算法提升了1.02%、1.66%和1.63%。在车辆类别的三维定位性能对比中，算法也有较好的表现。综上所述，本文算法不仅对于车辆的检测具有一定的优越性，对于车辆的定位也具有较强的鲁棒性。 |
| 作者： | 王璇 |
| 专业： | 工程(光学工程) |
| 导师： | 赵明富;钟年丙;陈新海 |
| 授予学位： | 硕士 |
| 授予学位单位： | 重庆理工大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
