原文传递
基于视觉图像与稀疏点云融合的自动驾驶夜间感知系统研究
| 论文题名： | 基于视觉图像与稀疏点云融合的自动驾驶夜间感知系统研究 |
| 关键词： | 自动驾驶;环境感知系统;目标检测;特征融合;先验信息;注意力机制 |
| 摘要： | 环境感知是自动驾驶系统的关键技术之一。低照度场景下视觉特征缺失，使得基于图像的检测方法精度降低，难以满足自动驾驶的感知需求。为此本文针对城市夜间场景下目标检测精度较低的课题，提出基于图像与稀疏点云融合的夜间感知算法，旨在通过引入点云的先验知识改善网络性能。主要围绕环境感知系统的“多模态认知-注意力机制-目标级融合”三个关键技术开展研究，实验表明本文所提出的算法能够有效提升夜晚场景下自动驾驶的目标检测精度。主要研究包括： (1)基于点云先验的多模态特征融合目标检测网络。由于夜间图像视觉特征缺失导致目标检测精度下降，本文基于稀疏点云先验生成高置信度的图像建议区域，在分类与回归任务中赋予其更高权重。据此引入一种注意力机制，使网络更加关注潜在目标特征。网络在特征提取时，通过融合点云的多模态特征弥补视觉特征缺失的不足。该网络相较于Faster RCNN主流目标检测框架，在光照良好场景下mAP提高2.3%，低照度场景下提高4.1%。 (2)基于稀疏点云与视觉图像融合的感知定位方法。考虑到点云稀疏特征不足难以进行目标定位，本文提出一种基于视觉投影的图像与点云目标级融合定位方法。图像检测采用前述多模态特征融合检测网络，点云检测在过滤地面点云干扰后采用实例分割与无监督聚类方法，通过视觉投影后融合多源感知信息完成3D目标检测任务。经过实验验证，该方法对于不同类别目标检测精度均在90%以上，定位误差小于0.1m。 (3)自动驾驶实验平台搭建与实车验证。本文以红旗EHS-3为基础平台搭建自动驾驶系统，构建覆盖多时段校园场景的数据集，应用于网络的训练与测试。为验证所提出方法的有效性，本文将构建的感知系统移植到红旗EHS-3自动驾驶平台，并基于实际道路场景进行实车测试。该系统在路测时检测速度达到13FPS，基本满足自动驾驶感知系统实时性的要求。 综上，本文引入注意力机制与多模态融合方法提出了一种基于点云先验的目标检测网络，有效地解决了夜间检测精度下降的问题。在此基础上，基于视觉投影提出一种图像与点云目标级融合的定位方法，提高了目标的定位速度与精度。本文将所提出方法移植到自动驾驶平台，实车实验表明，本文所提出的算法能够很好地满足自动驾驶夜晚场景的感知需求。 |
| 作者： | 刘备 |
| 专业： | 控制工程 |
| 导师： | 邱少波 |
| 授予学位： | 硕士 |
| 授予学位单位： | 电子科技大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
