详情

原文传递基于视觉和雷达融合的智能汽车目标跟踪与轨迹预测研究

论文题名：	基于视觉和雷达融合的智能汽车目标跟踪与轨迹预测研究
关键词：	智能驾驶;车道线检测;目标跟踪;轨迹预测;深度学习
摘要：	智能驾驶技术在改善交通安全、通行效率、驾乘体验等方面具有极大的潜力，是当前及未来智能交通领域研究的热点。智能驾驶系统由环境感知、决策规划和运动控制三大软硬件组成。环境感知通过传感器理解周边驾驶环境信息和车辆自身状态，是智能驾驶车辆行驶的重要前提。在目标车辆被长时间遮挡或紧邻多辆相似车辆的动态场景中，多目标跟踪和轨迹预测的精度会显著降低，影响到智能驾驶汽车的安全性。　　针对这一问题，本文以十三五国家重点研发项目“智能电动汽车人机共驾交互理论”（编号：2016YFB0100904），国家自然科学基金项目“智能电动汽车一体化建模与集成控制方法研究”（编号：U1564211）和国家重点研发计划专项课题“自动驾驶电动汽车硬件在环测试环境构建与模拟测试技术研究”（编号:2018YFB0105103），以及校企合作项目“东风乘用车自主智能辅助驾驶系统的研发和应用”为依托，开展基于视觉和雷达的智能汽车目标跟踪和轨迹预测研究。围绕本文研究目的，主要研究工作如下：　　（1）本文将IBN网络结构和自适应调节自身感受野的SKNet网络引入到特征提取网络，并使用堆叠沙漏网络搭建了预测关键点模块，实现了基于关键点实例分割的车道线检测。这样解决了由图像外观变化及使用固定大小卷积核提取车道线特征时导致的车道线检测精度降低的问题。在车道线拟合和跟踪部分，首先基于DBSCAN算法将车道线检测算法输出的相似点进行聚类，使用RANSAC算法拟合抛物线模型，然后基于卡尔曼滤波算法进行车道线跟踪。将算法在TuSimple数据集和实车实验平台上分别进行定量和定性验证。　　（2）建立了基于深度学习的视觉三维检测和跟踪算法框架。提出了一种有效提取多尺度特征的空洞特征金字塔网络结构，使得每个特征图同时拥有深层的语义信息和浅层的边缘信息，从而解决了基于传统特征金字塔进行多尺度目标检测时存在小目标检测精度较低的问题。在特征回归网络预测车辆维度和横摆角的基础上，使用检测框之间的约束关系求解目标位置坐标。搭建目标运动状态预测网络对目标运动状态进行建模，并预测目标在下一帧中的位置得到目标运动特征。在获得预测目标位置的基础上，计算预测目标和当前时刻检测目标之间的交并比，得到几何相似度信息。依据距离远近对目标进行排序，然后用线性模型预测遮挡目标的位置，这样减少了由遮挡引起的错误匹配。根据特征相似度和几何相似度可以计算目标之间的相似度，最后使用加权二部匹配算法进行数据关联。建立目标运动状态修正网络对目标运动状态进行修正，从而得到目标跟踪结果。　　（3）在前面研究的基础上，提出了视觉和雷达分布式信息融合算法框架。搭建了本车运动状态估计模型，在获得车辆侧向运动速度的基础上，对雷达目标运动状态进行运动补偿。对直道和弯道行驶路况，分别建立了辨识目标车辆所在车道位置关系的模型。针对雷达目标跟踪过程中观测噪声的未知且时变性引起的非线性滤波目标跟踪精度较低，甚至发散的问题，本文在平方根容积卡尔曼滤波的基础上，将Sage-Husa噪声统计估计器和渐消记忆指数加权方法相结合推导出适用于非线性系统的时变噪声统计估计器。使用椭圆形最近邻数据关联算法实现目标数据关联。将目标车辆的运动状态分为静止、同向运动、反向运动、起停和未分类五种形式，通过分析目标车运动状态转移机理，提出了一种基于时间窗的目标车运动状态分类方法。在序贯航迹关联的基础上，使用凸组合融合算法对视觉和雷达信息融合后的航迹状态进行估计。详细介绍了视觉和雷达的时间同步和空间对准原理和标定过程。通过搭载实车实验平台对算法进行验证。　　（4）在视觉和雷达获得目标跟踪信息基础上，提出了基于图神经网络和循环神经网络的GPII-GRU轨迹预测算法框架。本文从图正则化和网络架构调整两方面提出解决使用堆叠多层图神经网络提取交通车辆之间交互特征过程中出现过平滑问题的方案。首先，在图神经网络中引入不改变网络架构、不增加额外参数的图正则化。然后，在堆叠多层图神经网络模块之间引入具有初始残差和恒等映射的残差网络模型，在一定程度上解决叠加多层图神经网络层出现的过平滑问题。在获得交通车辆之间交互特征的基础上，使用Seq2Seq序列预测模型中的双向GRU编码器提取历史序列轨迹特征，然后使用注意力机制和单向GRU解码器对每个交通车的未来运动轨迹进行预测。将本文提出的GPII-GRU轨迹预测算法在ApolloScape Trajectory轨迹预测数据集上进行验证，实验结果表明，衡量轨迹预测精度性能指标的平均位移误差和最终位移误差均得到了显著性提高。
作者：	宋世平
专业：	车辆工程
导师：	吴坚
授予学位：	博士
授予学位单位：	吉林大学
学位年度：	2021