详情

原文传递基于多传感器融合的道路场景感知的关键方法研究

论文题名：	基于多传感器融合的道路场景感知的关键方法研究
关键词：	自动驾驶;道路场景感知;多传感器融合;数据获取;语义分割
摘要：	近年来，随着传感器技术、计算机科学、通信工程、网络工程、人工智能、自动化等技术的迅速发展，自动驾驶技术逐渐成为了研究热点，并逐步出现在日常生活中。为了适应复杂多变的环境，高效完成各式各样的任务，基于多传感器融合的环境感知成为自动驾驶车辆的必备功能。然而，当前的自动驾驶技术在多传感器信息获取和使用方面仍然存在问题，影响了自动驾驶车辆的智能程度。本文通过基于多传感器融合的自动驾驶车辆的道路场景环境感知任务，围绕数据获取、语义分割、道路可通行区域分割等领域，开展了相关关键技术和方法的研究，具体内容如下：　　1)为获取像素级对齐和时间同步的可见光和热红外图像帧，提出了一种新的思路来构建可见光-热红外混合摄像机。与现有方案相比，所设计的混合摄像机包含了5个不同点，使其在尺寸上更紧凑，从而在实际应用中更具实用性和可扩展性。首先是对混合摄像机的结构布局进行重新设计。第二是设计了一个可拆卸的调节系统，将混合摄像机从调节系统上分离。第三是通过两步对齐的方法获得热红外和可见光图像帧的像素级空间配准。第四是削弱基于卷帘快门的热红外摄像机的鬼影效应。第五是将单个混合摄像机扩展为混合摄像机阵列，从而同时获得宽视角的空间对齐的热红外、可见光和视差图像。实验结果体现了该混合摄像机的准确性和所设计的立体广角混合摄像机系统的有效性。　　2)目前，基于可见光-热红外的道路检测和语义分割研究较少，而当前的融合算法常常忽略单个传感器的独特信息。这里提出了两种基于交叉模型的融合方法，以展示可见光-热红外图像融合在道路检测和语义分割方面的优势。首先，建立基于中期融合的模型，将可见光和热红外图像的编码器分支输出的特征图谱直接送入作为解码器的融合分支中。然后，将可见光和热红外分支融合后的被丢弃的各原始层恢复作为模拟分支，模拟融合分支的输出分布，构成扩展交叉模型（extendedcrossmodel，ECM）。此外，还利用不同尺度的模拟分支的输出来进一步模拟融合分支中相应的输出，并称为层次交叉模型（hierarchicalcrossmodel，HCM）。由于目前不存在基于可见光和热红外的道路检测数据集，这里提供了一种新的可见光和热红外道路检测数据集。在该数据集中，混合图像由光学配准的混合成像设备获取，该设备由热红外摄像机和可见光摄像机组成，输出像素级配准的热红外帧和可见光帧。在可见光和热红外道路检测数据集和公共可见光和热红外语义分割数据集上，这两个模型的实验结果反映了融合策略的有效性。　　3)针对单一利用激光雷达或可见光摄像机的道路分割算法精度较低、受干扰较大的问题，提出了一种基于雷达图像行列扫描和图引导扩散的道路分割新方法。首先，对原始激光雷达点云进行有序重组，生成激光雷达图像。然后，从激光雷达图像中提取平坦区域作为候选道路区域。接下来，在激光雷达图像中使用行扫描和列扫描的策略，从候选区域中分割出更精确的道路区域。为了将点云与图像信息融合，基于激光雷达与摄像机之间的标定参数，上述分割得到的道路区域对应的点云可以被转换到图像空间。之后，基于映射到图像空间的道路区域点云，通过两种基于图像引导的扩散算法实现稀疏点的扩散填充，从而获取图像中的道路区域。实验表明，这种不基于训练的方法能够快速、准确和稳健地分割道路区域，并能够在KITTI数据集上取得较好的性能。　　4)针对当前的卷积神经网络高度依赖于离线训练、网络对未知场景缺乏泛化和迁移能力的问题，提出一种基于滑动窗口扫描和背景注意力网络的方法，通过半监督在线训练的方式，实现野外道路的可通行区域分割。首先，将原始的无序的三维点云重新组织成有序的激光雷达图像。然后，依靠有序的激光雷达图像，提出了一种基于滑动窗口扫描策略的可通行区域检测方法。继而，将标记好的点云投影到RGB图像空间，利用Delaunay三角剖分得到密集的道路和障碍区域；同时，设计了天空区域的填充算法来生成天空区域的掩膜。在构建前景和背景区域掩膜后，设计一种基于背景注意力机制的SwiftNet网络，提升图像空间下可通行区域的分割性能；同时，对背景注意力网络使用基于半监督学习的在线训练，逐帧更新网络参数，获得完整的可通行区域预测，提升网络的泛化性能。实验体现了该在线策略的有效性。
作者：	张翼弓
专业：	控制科学与工程
导师：	杨健
授予学位：	博士
授予学位单位：	南京理工大学
学位年度：	2022