详情

原文传递基于机器视觉的雾天车行环境感知算法研究

论文题名：	基于机器视觉的雾天车行环境感知算法研究
关键词：	自动驾驶;机器视觉;车行环境感知;图像处理;语义分割;深度估计
摘要：	近年来自动驾驶及其相关技术的发展已经引起了全社会的广泛关注。自动驾驶系统的核心技术包含环境感知、智能决策以及智能控制，而其中环境感知又是整个系统的前端和基础，为后续的路径规划、智能决策、控制提供判断依据。随着全球范围内气候的日益恶化，雾霾天气日益增多，如何在雾霾等恶劣天气下得到面向场景智能理解的环境感知信息，是当前自动驾驶中一个亟待解决的难点问题，而结合机器视觉所提供的解决方案正在引发这一领域内的重大变革。　　基于机器视觉的车行环境感知系统分为天气环境感知处理、三维几何信息提取、语义环境信息处理三个方面。这三个方面当前还存在诸多问题，比如怎样在雾霾天气下得到高质量的清晰去雾图像，如何兼顾车载视频处理的速度与去雾效果，如何有效利用环境感知中各个方面的潜在联系，以及如何能够得到各个方面兼顾、互相促进、统一协调的环境感知系统。针对以上问题，文章依次展开研究，其主要内容有以下几点：　　1）像素级自适应修正的暗通道先验算法　　文章逐次分析了暗通道先验算法处理过程中出现光晕、对于近景白色物体失效以及颜色过饱和的根本原因，并且针对这些问题提出像素级自适应修正的暗通道先验算法。该算法建立关于暗通道值的能量方程，按照像素点逐个修正暗通道值的偏差，能够将暗通道先验算法存在的所有问题纳入同一框架中统一解决，并且耗时少易于实现。后续的大量实验证明了该算法的有效性，并且在对比实验中取得了良好的主客观评价结果。　　2）四向自适应L1正则化滤波算法和基于Retinex的大气光值算法　　文章分析了当前透射率优化中常用滤波算法的各自优势和弊端，提出透射率优化需要同时具备纹理平滑和边缘保持的要求，并依此设计了四向自适应L1正则化滤波算法。该算法可以根据图像具体内容自适应调节L1正则化项的配重函数，并且从X、Y、X45、Y45四个方向上同时处理，相比其它算法其平滑和边缘保持能力均加倍增强，取得了纹理平滑和边缘保持两者兼顾的效果，使得最终去雾图像细节清晰、色彩自然；并且文章结合当前工程实际提出四向自适应L1正则化滤波算法的快速并行解法，使其能够充分利用硬件资源，提高了透射率优化的速度。针对当前大气光值求取过程中难以排除高亮物体、噪声、光源影响这一现状，文章提出了基于Retinex理论的大气光值算法，能够有效分离入射光分布，从而定位到图像中雾浓度最高区域，最终计算出准确的大气光值而不受图像内任何高亮干扰的影响。　　3）车载视频实时去雾算法　　当前车载视频去雾大都是以简化算法、耗费硬件资源为手段，提高去雾速度的同时弱化了去雾效果、增加了设备成本。针对这一现状，文章研究了基于深度学习的高速去雾网络模型4DL1R-Net。此网络以四向自适应L1正则化滤波算法为基础，采用多任务的编解码器结构，在输出透射率优化结果的同时还可以得到像素级的精确天空分割，从而准确计算大气光值得到清晰的恢复图像。这也是图像去雾领域内第一个基于深度学习的精确天空分割网络。4DL1R-Net具备四向L1正则化滤波算法的优点，并且在8核Intel(R)Core(TM)i7-9700CPU试验平台上达到了0.096秒的处理速度（620×460像素），实现了去雾效果和速度的兼顾。　　4）基于多特征融合的雾天车行环境感知网络　　文章根据车行环境感知所包含的天气环境感知、三维几何信息提取、语义环境信息处理三个方面的各自特点，分析彼此之间的潜在联系，实现以有雾图像为输入，清晰图像（透射率图）、三维几何信息（稠密深度估计）、语义分割为输出的雾天车行环境感知网络FFM-Net。FFM-Net充分了利用上述三方面之间的积极影响，在输出结果的同时能够得到各自较高的准确度。文章还提出对于有雾图像利用单目机器视觉进行场景三维几何信息提取的思想，亦即使用有雾图像和对应透射率图能够唯一确定场景的稠密深度信息，然后利用深度学习神经网络拟合其中的复杂函数关系，最终输出稠密深度图。在实验中，本文使用大量的实例证明了这一想法的正确性和可行性。　　5）建立了交通场景理解数据集　　为了完成4DL1R-Net和FFM-Net训练和测试过程，文章在数据集KITTI、Cityscapes和众多本地市区交通图像的基础之上建立了交通场景理解数据集TSCU。此数据集共有8000张交通场景图像，可以完成道路场景的天空分割、去雾、透射率求取、透射率优化、稠密深度估计、语义分割、实例分割等有关道路交通场景理解方面的训练以及质量评价。
作者：	杨育良
专业：	车辆工程
导师：	龙伟
授予学位：	博士
授予学位单位：	四川大学
学位年度：	2021