原文传递
基于毫米波雷达与视觉融合的稠密深度估计及目标检测研究
| 论文题名： | 基于毫米波雷达与视觉融合的稠密深度估计及目标检测研究 |
| 关键词： | 自动驾驶;融合感知;目标位姿;深度估计;毫米波雷达 |
| 摘要： | 采用单目摄像头的自动驾驶感知系统可以准确地检测到目标，但由于缺少场景深度信息，难以确定目标的位置和尺度。基于图像的卷积神经网络能显著提高深度估计的精度，但单一图像本身无法提供关于深度的准确参考点，难以解决单目深度估计的不适定问题。既有研究往往采用激光雷达点云为场景提供深度参考点，但激光雷达对天气敏感且算力需求大。考虑到毫米波雷达是全天候传感器，且硬件成本低，本文提出基于毫米波雷达与视觉融合的稠密深度估计及目标检测方法研究，提高自动驾驶感知系统目标识别准确率和目标位姿估计精度，从而满足自动驾驶感知系统的需求。主要研究： （1）基于毫米波雷达与视觉融合的稠密深度估计算法。与激光雷达相比，毫米波雷达点云极为稀疏，每帧图像仅能提供约0.003%的先验深度值。针对如何在稀疏点云条件下获得足够的深度估计精度的问题，本文提出了两阶段深度估计算法。在深度分支采用稀疏前置映射模块初步提取稀疏特征。通过特征融合模块，引入通道注意力机制，利用包含更高级语义特征的第一阶段解码器特征引导第二阶段特征编码。并考虑驾驶场景特性，引入语义信息改进损失函数，从而得到更加准确的深度图。 （2）基于毫米波雷达与视觉的融合目标检测算法。本文基于毫米波雷达信息补充图像缺失信息的思路，提出通过增强图像特征提高目标检测精度的方案。提出两种可用于毫米波雷达与图像特征融合的transformer架构，并对毫米波雷达表示形式、融合阶段和融合方式开展研究。针对“单一尺寸特征可能导致错检漏检”这一问题，进一步提出聚集多尺度特征的解码器结构，实验对比了基于卷积神经网络的融合方式，证明了算法的有效性。 （3）基于稠密深度估计与视觉的融合目标位姿估计算法。本文在上述两个研究内容的基础上，利用稠密深度图得到目标的位姿信息。基于毫米波雷达点云的速度信息，构建速度提取模块帮助网络回归更准确的速度信息，为自动驾驶决策算法提供支持。 本文所提算法在深度估计任务中对100m内图像中所有像素点进行深度估计，平均误差相比于现有最优算法降低了0.518m。在目标检测任务中AP值相比于现有最优算法提升了3.7%。在此基础上，完成目标位姿估计任务，提高目标位姿估计精度，从而利用毫米波雷达与相机构建面向自动驾驶感知系统的可靠感知模块。 |
| 作者： | 郑珂 |
| 专业： | 仪器科学与技术 |
| 导师： | 詹惠琴 |
| 授予学位： | 硕士 |
| 授予学位单位： | 电子科技大学 |
| 学位年度： | 2023 |
检索历史
应用推荐
