详情

原文传递基于生成式对抗网络(GAN)的自动驾驶容错感知研究

论文题名：	基于生成式对抗网络(GAN)的自动驾驶容错感知研究
关键词：	自动驾驶系统;感知容错模块;图像生成;生成式对抗网络
摘要：	典型的自动驾驶系统中，安装了摄像机、激光雷达和毫米波雷达等多个类型的传感器。传感器模仿了人类的感知功能，用于获取车道线，检测障碍物等环境感知任务。自动驾驶的环境非常复杂，传感器尤其是基于视觉的传感器会出现由于设备本身突然故障导致图像采集不到，由于相机偶然被遮挡不能采集到完整的图像，或者由于光线短时间内变强导致图像曝光过度的情况。在计算机视觉中，图像生成是近年来兴起的新技术，但是关于图像生成技术在自动驾驶场景中的应用研究非常少。因此本论文针对自动驾驶视觉传感器可能会出现的突发失效问题，提出了自动驾驶系统感知容错模块的概念，探究了图像生成技术在感知容错模块的若干应用，并针对特定问题与应用，改进了模型、损失函数与训练方法。其中重点对车道线图像增强与检测，感知端的图像容错预测以及基于视角生成网络的图像恢复与SLAM容错应用三个方面开展了研究。　　主要研究工作和成果包括如下几个方面: 　　(1)介绍了一种新的，更鲁棒的车道线图像增强与检测思路。在非结构化道路没有车道线，某些道路的车道线被磨平和腐蚀，或者车道线被遮挡的情况下，车道线检测是一个非常大的挑战。针对这种复杂环境下的车道线检测问题，本论文首先应用图像生成网络Pix2Pix完成端对端的车道线图像增强，再将生成的图像用于车道线检测。这是图像生成技术在车道线图像增强与检测方向上的首次应用。该算法可以无缝嵌入到图像感知模块和成熟的车道线检测算法中去，提高了传统车道线检测算法的容错能力。本论文在Prescan数据集上的实验证明了该方案的可行性，并提供了一些工程经验。　　(2)提出了一种新的感知预测模型。本论文针对视觉感知过程中可能存在的突然曝光过度或者感知设备偶然被遮挡导致图像质量不高的问题，提出了新的视频帧预测与生成模型。该模型在前人提出的图像金字塔特征提取和生成式GAN网络训练框架的基础之上，添加了新的卷积特征损失函数，改善了生成图像模糊的问题。同时还对生成器网络中传统的金字塔结构提出改进，通过建立卷积特征共享层，降低了参数和计算量，从而减少了测试阶段的图像生成时间，使得实时预测成为可能。模型预测的图像实现了感知端的容错，可以用于辅助自动驾驶的决策层;同时该图像也可以在端对端的强化学习中作为预测输入，对决策做出前馈微调。在KITTI和Pacman数据集上的训练测试结果证明了改进模型能够更快地生成更加清晰的图像。　　(3)提出了新的基于视角生成网络的图像恢复模型，实现了SLAM的容错应用。该研究针对双目摄像机某一目图像短时失效的问题，提出了根据该目恢复另一目视角图像，从而保证SLAM系统正常工作的方案，实现了感知容错。文章在经典图像生成网络Pix2Pix的基础上，逐步添加了深度估计网络和深度信息的输入，基于STN网络的图像重建损失以及基于图像修复网络的图像补全损失三个方面的改进。改进模型在两个通用的自动驾驶数据集KITTI和Cityscapes上的实验证实了网络对图像的生成质量有了很大的提高。本论文后处理部分导出了深度估计网络的深度信息中间结果，同时将生成的图像用于双目视觉系统的重建，实验结果表明该方案能够实现系统在一定误差范围内的位姿估计，证明了基于单目图像恢复的SLAM容错的可行性。
作者：	王凯
专业：	控制科学与工程
导师：	梁军
授予学位：	硕士
授予学位单位：	浙江大学
学位年度：	2018
正文语种：	中文