详情

原文传递基于时空信息融合的3D车道线检测算法研究

论文题名：	基于时空信息融合的3D车道线检测算法研究
关键词：	车道线检测;时空信息融合;鸟瞰图感知;端到端;视觉3D感知;语义分割
摘要：	本文提出了一种基于时空信息融合的3D车道检测方法（以下简称STLane3D）。与传统的2D车道线检测方法相比，STLane3D可以直接在三维空间中预测车道线位置，同时利用连续帧之间的强时空连续性来提高车道特征的感知。与现有的3D车道线检测方法相比，STLane3D在相机坐标系下进行3D车道线检测，简化了模型并降低了对实时相机姿态的需求。为了实现STLane3D，本文从传统的2D车道线检测任务出发，逐步“升维”，从2D前视车道线检测升维到2.5D的BEV车道线检测，再到3D车道线检测，最终扩展到时序3D车道线检测。具体研究内容如下：　　（1）本文研究了常规的2D车道线检测方法，即基于相机原图（即前视视角）的车道线检测模型，在Apollo仿真数据集上进行了验证，通过实验对比分析了像素级别语义分割模型与固定车道线宽度语义分割模型的优劣，并将其作为后续3D车道线检测模型的第一阶段网络。　　（2）本文探索了从前视视角到鸟瞰图视角的多种视角转换方法，包括LSS算法、逆透视变换算法、可变形注意力模块以及多层感知机MLP，并构建了对应的BEV车道线检测模型。在Apollo仿真数据集上生成BEV真值进行验证，对比分析不同视角转换方法的优劣，以选择合适的视角转换方法用于3D车道线检测模型。　　（3）基于BEV车道线检测模型，本文进一步基于真实世界3D车道线数据集ONCE和OpenLane构建融合时空信息的多帧3D车道线检测模型，并提出了一种特征级预对齐方法，一种时序信息融合方法以及一种3D车道线损失函数。在ONCE和OpenLane数据集上与目前SOTA的基线模型进行对比，并展开了广泛的消融实验，验证本文提出方法的有效性。STLane3D在ONCE和OpenLane上均达到了目前较为先进的结果，分别取得了77.53％和50.55％的F1分数。由于本文简化了模型，在算法的实时性方面也取得了进一步的提升，在单卡RTX3060条件下达到63FPS（单帧）的推理速度。　　（4）本文还探讨了基于局部语义地图的无锚线道路结构感知方案，针对现有方案普遍存在的标注数据难度大、锚线先验存在固有缺陷等问题，采用了基于高精地图的局部道路结构标注形式，并在STLane3D的基础上设计了无锚线版本的检测方案，在NuScences数据集的基准测试中进行了验证，达到了目前较为先进的结果，在人行横道线、车道线以及路边沿三个子类下均超越了基准方案，平均AP达到了46%。同时，由于本文的模型结构精简，在算法的实时性方面同样取得了较大的提升，在单卡RTX3060条件下达到65FPS的推理速度。　　综上，本文提出的STLane3D方法在3D车道线检测任务中取得了优秀的性能，同时在实时性方面也取得了较大的提升，具有很高的实际应用价值。本文的研究还探讨了数据驱动感知方案的未来发展方向，为相关领域的研究提供了新的思路和方法。
作者：	汪寅
专业：	车辆工程
导师：	吴坚
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2023