原文传递
基于扩展网络的毫米波雷达与视觉融合目标检测算法研究
| 论文题名： | 基于扩展网络的毫米波雷达与视觉融合目标检测算法研究 |
| 关键词： | 智能驾驶汽车;多传感器融合;毫米波雷达;目标检测;扩展网络 |
| 摘要： | 随着智能驾驶从初级驾驶辅助向高等级自动驾驶过渡，汽车作为独立智能个体对外部环境信息的感知需求也随着智能化的加深而与日俱增。常见的独立感知单元对外部环境的感知能力受传感器自身特性和算法水平限制而不能在雨雾、夜间等条件下独立获取全面的感知信息。因此发展多传感器融合技术对解决智能感知困局具有重要意义。本文综合车载感知元件在感知性能上的互补性、性价比和独立检测技术的成熟度，提出了适用于毫米波雷达和视觉融合的基于扩展网络的融合目标检测算法，并针对算法输入数据的预处理、算法网络结构设计和算法测试分析进行了系统性研究，具体研究内容如下： （1）在对毫米波雷达与视觉融合的技术路线分析基础上确定了本文采用特征级融合，并基于nuScenes数据集和自制数据采集平台的测试数据开展算法的训练和测试评估。 （2）针对不同传感器采样频率和触发时间不一致的问题，本文提出了OOSM与Non-OOSM时间融合机制，并介绍了传感器空间融合技术。 （3）针对毫米波雷达检测噪声导致的目标在时间序列上的不规则运动，本文提出了基于“EKF-马氏距离-匈牙利匹配”的目标跟踪和滤波算法进行数据预处理，并引入目标的“生成-存续-消亡”机制维护雷达目标信息。针对数据滤波过程对观测协方差矩阵的确定，开展了基于RTK真值数据的协方差拟合试验，并进行了滤波跟踪算法的可行性验证。 （4）对雷达目标集进行空间变换实现从雷达坐标系到图像坐标系的雷达图像生成过程，并基于雷达图像进行毫米波雷达点云的图像平面垂向扩展研究，以雷达反射截面积（RCS）和目标径向距离作为双通道雷达图像的像素值，用于与视觉图像的特征融合研究。 （5）为引入毫米波雷达图像作为视觉图像目标检测的辅助信息，本文对基于VGG-16+FPN骨干检测网络的RetinaNet一阶段目标检测算法进行扩展性研究，以两通道雷达图像（360×640×2）和三通道视觉图像（360×640×3）作为融合网络的输入，提出了适用于毫米波雷达与视觉融合的扩展VGG-16网络和扩展特征金字塔网络（E-FPN）。通过多层毫米波雷达特征和视觉特征的串联融合，提出了用于毫米波雷达与视觉融合的深度扩展融合目标检测网络。测试结果显示，相比于纯视觉图像目标检测的参照网络，本文所提出的网络mAP提升2.9%，小目标精度相对提升18.73%，验证了本文提出的扩展融合目标检测网络对视觉不敏感目标的检测能力和算法可行性。 本文的研究对于智能驾驶汽车多传感器融合技术研究具有一定的参考价值，尤其是在融合目标检测领域对于突破单类型传感器检测瓶颈、提升综合感知性能具有积极地意义。 |
| 作者： | 王新宇 |
| 专业： | 车辆工程 |
| 导师： | 宋传学 |
| 授予学位： | 硕士 |
| 授予学位单位： | 吉林大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
