详情

原文传递自动驾驶场景的双目深度估计研究

论文题名：	自动驾驶场景的双目深度估计研究
关键词：	自动驾驶;环境感知;双目视觉;深度估计;深度学习;卷积神经网络
摘要：	环境深度感知是自动驾驶技术中的关键环节，是自动驾驶车辆路径规划和决策控制的基础。与激光雷达、毫米波雷达等传感器相比，双目视觉具有图像信息丰富、成本较低且易于部署等优点，被广泛用于自动驾驶系统。近年来，随着深度学习技术的发展，基于卷积神经网络的双目深度估计方法相比传统方法，在深度估计精度和推理速度方面都有了很大的提升，但是在复杂的实际道路场景中，仍存在很多问题值得研究。比如，自动驾驶场景的无纹理区域、弱纹理区域、重复纹理区域、物体边缘以及遮挡区域的深度估计精度低，网络模型对未知驾驶场景的深度估计泛化能力差，模型复杂、视差预测时间长，不能满足车载嵌入式设备的需求等问题。本文以深度学习和图像处理技术为基础，从特征提取、匹配代价构建，代价聚合和视差优化四个步骤对基于卷积神经网络的双目深度估计展开研究，为提高自动驾驶的安全性提供理论指导。主要工作如下：　　(1)针对自动驾驶道路场景中无纹理、弱纹理以及重复纹理区域，双目深度估计算法容易产生误匹配的问题，本文提出一种基于像素注意力机制和通道注意力机制的双目深度估计网络。该网络首先在特征提取阶段，将像素注意力机制与金字塔卷积模块相结合，提取更多的全局上下文信息和具有像素注意力的高层特征。然后在代价聚合阶段，通过注意力聚合模块融合高层语义特征和低层纹理特征，减少编码解码过程中的信息丢失，并引入通道注意力机制识别出有益于视差计算的特征图，增大其权重并引导低层特征恢复更多的细节信息，进而使用堆叠的沙漏结构学习更多的上下文信息对匹配代价体进行正则化。同时，通过引入3D残差优化模块，防止模型训练过程中出现梯度消失、梯度爆炸以及网络退化等现象，提高模型训练的稳定性。实验结果表明，双目深度估计网络引入注意力机制，能够提高自动驾驶场景中无纹理区域、弱纹理区域以及重复纹理区域的深度估计精度。　　(2)针对自动驾驶道路中障碍物边缘区域的深度估计不准确的问题，本文提出一种基于边缘检测和多尺度匹配代价体融合的多任务双目深度估计网络。该网络首先在特征提取阶段利用边缘分支网络对图像进行特征提取，将学习的几何边缘特征嵌入到视差估计分支网络中，并构建多尺度匹配代价体。然后在代价聚合阶段，融合不同分辨率的匹配代价来扩大模型的感受野，从而捕获更多的全局和结构表示，并将其应用于代价计算，通过将二值交叉熵损失函数和边缘感知的平滑损失函数引入到视差网络损失函数中，约束目标对象边界的视差梯度来提高对目标边界的视差精度。最后在视差优化阶段引入左右一致性检测构建重构误差，来修改初始视差错误的区域，并利用扩张卷积增大感受野，为深度不连续区域和遮挡区域提供更多的上下文信息。实验结果表明，双目深度估计网络融合多尺度匹配代价体和融入边缘几何线索，能够提高自动驾驶道路中遮挡区域和障碍物边缘区域的视差估计精度，网络预测的视差图保留了清晰的边缘，能够避免深度不连续区域的深度过度平滑和模糊。　　(3)针对双目深度估计算法在真实驾驶场景中泛化能力差的问题，本文提出了一种基于引导匹配代价体和迁移学习的双目深度估计网络。该网络首先利用特征提取阶段的输出特征构建匹配代价体，使用不同扩张率的卷积和沙漏结构对匹配代价体进行正则化，通过压缩聚合特征的通道维度得到匹配代价体的注意力权重，利用该注意力权重来过滤初始级联代价体中的冗余信息，增强匹配像素与候选像素之间的相关性。同时，使用迁移学习技术将在DrivingStereo数据集的预训练模型参数，作为在KITTI数据集上模型的初始参数并进行后续训练，通过迁移学习技术提升模型在道路街景中视差预测精度。实验结果表明，本文提出的注意力引导匹配代价体，对匹配像素与候选像素之间的相关性有良好的表征能力，提高了自动驾驶双目感知的深度估计性能。　　(4)针对双目深度估计模型复杂、参数量大，难以应用到计算能力和存储空间受限的车载嵌入式设备的问题，本文提出了一种基于多尺度特征融合和颜色引导的轻量化双目深度估计网络。该网络利用MobileNetV2block构建特征提取主干网络，对输入图像利用连续下采样提取特征，再利用通道注意力机制自主学习不同阶段的特征图在代价计算中的贡献大小，找出并提升贡献大的特征图权重，同时抑制贡献小的特征图的权重，提升模型深度感知的性能。通过使用多尺度特征融合模块对不同阶段的特征进行融合，捕获更多有效的全局上下文信息构建欧式距离匹配代价体。最后在视差优化阶段引入左右一致性检测和颜色引导优化初始视差，在不增加模型计算量的情况下，提升模型对目标边缘的敏感性和视差图边缘细节恢复能力。实验结果表明，本文提出的轻量化双目深度估计方法，能够利用有限的计算资源，快速预测出高精度的视差，可以满足实际应用需求。
作者：	杨肖委
专业：	机械制造及其自动化
导师：	何林
授予学位：	博士
授予学位单位：	贵州大学
学位年度：	2022