详情

原文传递基于毫米波雷达和相机的感知融合的目标检测和跟踪算法研究

论文题名：	基于毫米波雷达和相机的感知融合的目标检测和跟踪算法研究
关键词：	毫米波雷达;相机;多传感器信息融合;目标检测;目标跟踪
摘要：	无人驾驶是现如今乃至未来科技领域发展的一个重要方向，而目标检测和跟踪又是无人驾驶技术发展进程中的关键环节，此环节中的一个核心要点是环境感知模块的研究，环境感知模块最直接的对应就是传感器的使用。面对无人驾驶场景的诸多不确定性和路况的复杂性，单一传感器在目标检测和跟踪过程中的缺陷和不足渐渐的暴露出来，仅仅依靠单一传感器采集到的数据信息不足以适应实际的交通环境。因此，为了保证车辆在行驶过程中能够获取到实时的信息；保证车辆决策系统在多变的交通场景和复杂的路况下能够及时准确做出决策；保证智能车辆和乘客的安全，针对多传感器信息融合策略的研究至关重要。　　本文提出了一种基于多传感器信息融合的目标检测和跟踪方法。首先，分别利用毫米波雷达和相机进行单一传感器的数据采集和有效目标的获取；然后，基于决策层信息融合的方式，采用数据关联算法关联单一传感器之间的有效数据；最后，根据本文提出的融合判定策略为智能汽车的规划决策提供可靠的数据支撑。主要研究内容如下：　　(1)基于毫米波雷达的数据采集和有效目标获取。　　首先，详细的阐述了毫米波雷达的特性，通过对不同体制的毫米波雷达进行比较，选定本文研究所用的毫米波雷达型号；然后，针对三角波调制下的雷达测距、测速以及测角原理进行深入剖析，并对毫米波雷达检测到的目标数据进行解析；最后，针对毫米波雷达的有效目标获取方法进行研究，针对原始数据检测结果杂乱分散的问题，采用目标聚类策略进行处理；针对虚假目标等干扰信号存在的问题，采用设置阈值的方法进行剔除；同时通过卡尔曼滤波算法及生命周期算法完成对有效目标的一致性检验和跟踪。　　(2)基于相机的数据采集和有效目标获取。　　针对当下不同的目标检测算法进行对比，综合分析最终决定在YOLOv5目标检测模型的基础上进行改进。首先，采用GhostV2模块替换模型骨干网络的部分C3模块进行模型剪枝，同时引入具备全局信息感知能力的Transformer结构，其拥有的并行计算的能力很大程度上减少了计算资源的浪费，其自注意力机制大大增强了模型的表达能力；其次，引入自适应空间特征融合机制ASFF以应对道路目标检测过程中出现的目标尺度变化多样的问题；然后，引入小目标检测层以实现对遮挡目标以及距离较远的小目标的实时准确检测；最后，使用BDD100K数据集进行模型训练并生成模型文件，同时对本文训练好的模型进行实验验证。　　(3)设计基于毫米波雷达和相机组合使用的目标检测和跟踪策略。　　对多传感器不同的融合方式进行研究，分析多传感器之间的融合原理。首先，由于毫米波雷达采集到目标数据是二维坐标系下的数据，而在实际应用场景中的目标都是三维的，故而本文决定通过不同坐标系相互转换的方式实现多传感器的空间融合；然后，通过分析毫米波雷达和相机的采样周期，决定选择以频率较低的毫米波雷达采样周期为基准进行统一采样，从而实现多传感器的时间融合；最后，在多传感器时空对准的基础上，从决策层信息融合角度出发，设计毫米波雷达和相机组合使用的目标检测和跟踪策略，该策略通过数据关联算法对来自多个传感器的数据进行整合和处理，以获得更准确、更全面的信息。　　(4)采集不同场景下的目标数据对本文所提算法进行实验验证和结果分析。　　首先，搭建集成毫米波雷达和相机的实验平台，毫米波雷达的安装位置不同，其主要应用场景和实现的功能也不同，故而在确定毫米波雷达安装位置时需要判断其实际应用场景；其次，在实验平台搭建完毕后，对传感器进行标定并且获取相机的内参矩阵；最后，通过实验车平台采集不同场景下的目标数据进行实验，通过对比单一传感器与多传感器信息融合的目标检测和跟踪结果，验证本文所研究的多传感器信息融合算法的可行性，证明其在实际环境中的应用价值。
作者：	王超
专业：	软件工程
导师：	魏达
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2023