详情

原文传递一种基于生成式对抗网络的智能车驾驶决策方法

专利名称：	一种基于生成式对抗网络的智能车驾驶决策方法
摘要：	本发明公开了一种基于生成式对抗网络的智能车驾驶决策方法，包括建立驾驶决策模型和驾驶决策控制。本发明基于生成式对抗网络对驾驶图像处理，能够处理非理想道路状况下的车辆驾驶路径规划，提高了端对端神经网络的可执行性。本发明通过生成式对抗网络处理，提取驾驶图像的最本质特征，将不同源的驾驶数据映射到统一的虚拟域中，实现强化学习到实车的应用，提高了网络的泛化性，适应不同样本的能力。本发明对于驾驶图像的输入，每次使用的输入图像为当前时刻时间戳的前几帧视频图像。以此种方法得到的预测图像，可以更大程度上的得到真实的预测图像作为驾驶决策规划的判断。本发明作为预测车辆最优决策的依据，建立起强化学习到实车应用的桥梁。
专利类型：	发明专利
国家地区组织代码：	辽宁;21
申请人：	大连理工大学
发明人：	连静;杨日凯;李琳辉;周雅夫;孔令超;钱波
专利状态：	有效
申请号：	CN201810818002.X
公开号：	CN109131348A
代理机构：	大连东方专利代理有限责任公司 21212
代理人：	李洪福
分类号：	B60W50/00(2006.01)I;B;B60;B60W;B60W50
申请人地址：	116024 辽宁省大连市高新园区凌工路2号
主权项：	1.一种基于生成式对抗网络的智能车驾驶决策方法，包括以下步骤：A：建立驾驶决策模型A1：基于生成式对抗网络的图像处理首先，通过车载摄像头采集真实驾驶场景的驾驶图像，并进行图像预处理，将图像输入生成式对抗网络；生成式对抗网络由生成器网络和判别器网络两部分组成，将采集的图像输入生成器网络，生成器网络根据车载摄像头采集并经过预处理之后的驾驶图像生成虚假图像；判别器网络则对生成的虚假图像进行判别；二者通过联合对抗训练，使生成器网络生成接近真实的路况；判别器网络判别输入的图像为采集的汽车驾驶图像还是生成器生成的虚假图像，输出图像为真实图像的概率；直至最后，判别器网络和生成器网络达到平衡，即所谓的“零和博弈”；最后，输出生成器网络产生的虚假图像；所述的联合对抗训练的过程是极大极小的博弈过程，归纳成如下公式：其中，x是根据输入图像提取的特征数据；Pg代表在输入特征数据x上学习的生成器的分布；Pdata(x)是真实图像的数据分布；定义Pz(z)为输入的噪声先验变量；G实际是G(z；θg)，代表数据空间的映射，是由含有参数θg的多层感知机表示的可微函数；这里，E是指在总输入噪声或者训练图片作为样本中选取一个最小的批次，选取随机梯度更新的方式更新判别器；D为D(x；θd)，是一个多层感知机，输出一个标量；D(x)表示x来自为真实图片的概率；G(z)是生成器网络通过输入的噪声生成的相应图片；最后，D和G的训练是关于值函数V(G,D)的极大、极小化地博弈问题；为了学习生成器网络在输入驾驶图像上的特征分布，定义其先验变量Pz(z)，使用G代表数据空间的映射；再定义一个D来输出标量，训练D，使其最大化，输出的结果为输入D的驾驶图像属于采集的驾驶图像还是生成器网络生成的虚假图像的概率；同时，训练G来最小化log(1‑D(G(Z)))；换句话说，D和G的训练是关于值函数V(G,D)的极大化和极小化博弈问题；对于生成式对抗网络来说，生成器网络和判别器网络是两个完全独立的网络模型，当交替化地训练G和D，只要G变化的足够慢，就保证D保持在最优解附近；选择最大化log来训练G，使G和D保持足够的稳定性，并且在训练初期，提供足够的训练梯度；所述的生成器网络设计为卷积+残差块+反卷积结构，所述的判别器网络设计为卷积+全连接网络结构；A2：预测器网络图像预测将生成式对抗网络生成的接近真实的虚假图像和采集的真实驾驶图像输入预测器网络中进行道路驾驶的规划；所述的预测器网络由Pilot‑Net网络和包含LSTM隐式单元的双向LSTM网络两部分组成；其中，Pilot‑Net网络为卷积+全连接结构，以单帧虚假图像及对驾驶场景理解的结果为输入，全连接层输出智能车的转向决策；双向LSTM网络针对连续帧驾驶场景数据，以Pilot‑Net网络的卷积层输出和采集的连续帧真实驾驶图像为输入，输出智能车的驱动和制动决策序列；对于驾驶图像的输入，使用实时、连续视频帧进行输入，每次使用的输入图像为当前时刻时间戳的前几帧视频图像；B：驾驶决策控制根据步骤A2，得到神经网络输出的智能车驱动、制动和转向决策序列三种智能车驾驶决策序列；根据驾驶序列规划，规划出最优的驾驶路径作为车辆的行驶轨迹；通过智能车的控制底层经由控制模块实现规划好的动作。
所属类别：	发明专利