原文传递
基于多传感器融合的车辆行人检测和跟踪系统
| 论文题名： | 基于多传感器融合的车辆行人检测和跟踪系统 |
| 关键词： | 自动驾驶;多传感器融合;注意力机制;多目标跟踪;行人检测 |
| 摘要： | 在自动驾驶汽车行驶过程中，能否快速有效地对车辆和行人进行检测和跟踪，是环境感知技术要解决的重要问题之一，在实际应用中也会直接影响到自动驾驶汽车的安全性。据此，本文在分析了国内外车辆人检测和多目标跟踪算法的基础上，提出了一种适用于自动驾驶的多传感器融合、能够对车辆和行人进行检测、测距与多目标跟踪的系统。主要研究内容如下： (1)针对自动驾驶领域的测距问题，提出了一种多传感器数据融合方法，通过SGBM双目匹配算法，提高了双目相机的测距范围，通过激光雷达和双目相机的联合标定，将点云数据投影到图像上，对双目测距结果进行修正，获得高帧率且准确率高的距离信息，解决了单一传感器的测距缺陷问题。 (2)改进了YoloV4算法，通过引入协同注意力机制，提高了模型对于各图像通道特征的获取能力，将位置信息嵌入通道注意力中，不仅能捕获跨通道的信息，还能捕获方向感知和位置感知信息，使模型在小目标和遮挡目标检测时，表现出更好的性能。收集并建立车辆和行人检测数据集，将车辆正面、侧面和背面作为不同的类别进行学习，通过检测结果可直接判断车辆的行驶方向。 (3)改进了DeepSORT算法，通过引入目标的距离信息，将二维目标跟踪转化为三维目标跟踪，在匹配级联过程中加入距离判断机制，有效解决了密集目标跟踪过程中，由于位置较近出现的编号交换。 (4)构建车辆行人检测和跟踪实验平台，对本文所提出的检测和跟踪算法进行了验证，实验结果表明，本文算法在NVIDIAGEFORCERTX2060运算平台上达到平均33Hz的实时检测跟踪频率，在多种环境下均具有较好的检测跟踪结果。本文研究的基于多传感器融合的车辆行人检测和跟踪系统对自动驾驶及其相关自主移动平台具有实际的应用意义。 |
| 作者： | 王海龙 |
| 专业： | 机械电子工程 |
| 导师： | 黄学功 |
| 授予学位： | 硕士 |
| 授予学位单位： | 南京理工大学 |
| 学位年度： | 2021 |
检索历史
应用推荐
