论文题名: | 基于双目视觉的自动驾驶越野场景多参数栅格地图建模 |
关键词: | 自动驾驶汽车;越野场景;多参数栅格地图;双目视觉 |
摘要: | 近年来,自动驾驶技术得到了快速发展与广泛关注。感知系统作为智能汽车不可或缺的实现途径,需要不断增强其对现实世界复杂场景的表述能力,为其后的规划控制模块提供实时、准确、精简的周边局部地图信息。目前,用于机器人的室内环境实时定位与建图已经较为成熟、用于结构化道路无人驾驶的深度学习算法能够实时判断周边车辆行人的大小和位置,而室外越野环境的自动驾驶往往缺乏标准的道路地图、相机运动速度较快、缺乏稳定的特征点,并且难以进行回环优化,因此利用相机进行越野环境建模存在较大挑战。 本文以中科慧眼双目相机为视觉传感器,结合RT3002惯性导航仪获得的世界坐标系下的定位轨迹,以跟踪汽车运动与建立汽车周边局部环境的栅格地图为研究目标,开发能够应用于实车的在线数据采集、回放与计算系统,以实现基于双目视觉和惯导结合的自车帧间位姿变换估计,并利用估计结果在自车局部坐标系下进行栅格地图建模。本文主要研究内容如下: (1)数据采集、回放与栅格地图可视化建模系统的搭建。本文实现了双目相机图像、点云、底盘与惯导在控制器局域网总线(Controller Area Network,CAN)总线上数据的同步采集系统,并可视化表达本文所建立的栅格地图的高程连接关系,此外还接入了在线语义分割模块,将语义信息建模在栅格地图中。数据采集时间同步方面,以计算机本地时间为基准,同步了双目相机图像、点云与CAN总线上的其他信号,并为实时运算实现了利用时间戳与环形缓冲区的时间对齐功能。数据回放方面,实现了从本地存储的数据集中完整回放并同步所有采集的数据并计算局部栅格地图。为了调试程序、展示栅格地图与原始点云,本文采用跨平台的界面库(Gnome Toolkit,GTK) 实现了交互界面,在其中嵌入开放图形库(Open Graphics Library,OpenGL)区域并绘制彩色点云及三角形线框绘制的栅格高程地图,从而细致、直观地表达所建立的地图栅格邻域间的连接关系。最后,对双目相机和惯性导航单元(Inertial Measurement Unit, IMU)进行了标定,确保了相机参数的准确性与IMU的可用性,并实际采集了具有挑战性的越野数据集。 (2)双目视觉里程计方案选择与跟踪策略研究。由于数据集中的沙地纹理稀少,导致利用现有视觉里程计方法的跟踪极易失败。因此,本文对现有方法的原理进行对比,并将特征点法和直接法在自采的跟踪困难的沙地数据集上进行测试,对跟踪的成功与否进行绘图展示与对比分析,进而选择双目直接法用于越野工况视觉里程计,接着对直接法视觉里程计进行推导说明。前端部分推导了光度误差的形式和IMU帧间的积分关系。后端部分建立了帧间误差函数,并利用滑动窗口法与非线性优化法对邻近位置的关键帧的位置进行估计,本文进而利用了基于全球定位系统(Global Positioning System,GPS)和IMU的惯导系统获得同步采集的相机帧间的位姿变换,将其以作为先验接入到直接法双目视觉里程计中,帮助视觉里程计在存在大量重复纹理、非凸的图像中获得更好的迭代优化初值,降低了在困难的越野工况下的跟踪失败率,提升了视觉里程计对于越野环境多帧融合栅格地图建模的可用性。 (3)多参数栅格地图的建立与多帧融合。由于传统的可通行性占用栅格地图难以考虑车辆的特性(如汽车的驱动力、速度和几何形态的通过性),因此本文的建图目标为用多参数栅格地图尽可能准确而精简地表达地面信息,将可通行性留到自动驾驶汽车运动规划层进行判定。在单帧地图建立中,首先对栅格中的离地部分进行了剔除,以确保建立的是地面的栅格地图,其次计算栅格地图中点云的最小二乘平面法向量,以获得地面的坡度信息、用方差表达的不平度信息、落入栅格点云的语义类别占比,这些参数可用于帮助估计自身动力学响应、估计路面的切换,帮助汽车调整自身的运动规划。此外,还推导并加入了轮速里程计积分以提高帧间位姿估计鲁棒性与准确性。 由于视觉方法自身的准确率限制,单帧地图的参数存在较大的误差,因此本文利用已获得的帧间变换关系,以相机最新一帧为局部坐标系原点,融合历史帧的栅格地图。多帧融合地图相比单帧地图,不但有更准确的参数估计,并且由于地图范围的扩大,使其获得了车下方的参数,例如车下语义类别占比,而语义类别占比可以帮助自动驾驶汽车更好地估计自身所在位置的地面状态,有助于其进行更好的运动规划。 最后,对地图建模效果与语义类别占比的变化曲线进行了测试,用三维可视化证明了栅格地图的成功建立,用曲线表明了地图语义参数对路面状态识别的有效性。 |
作者: | 冷志远 |
专业: | 车辆工程 |
导师: | 赵健 |
授予学位: | 硕士 |
授予学位单位: | 吉林大学 |
学位年度: | 2023 |