详情

原文传递使用深度视频帧预测来训练自主车辆的控制器

专利名称：	使用深度视频帧预测来训练自主车辆的控制器
摘要：	本公开提供了“使用深度视频帧预测来训练自主车辆的控制器”。图像预测器被训练为基于由车辆摄像机捕获的N个先前图像以及车辆控制来产生预测图像。鉴别器被训练为区分图像流中的P个先前图像之后的图像与并非后续图像的图像。控制发生器基于一组N个图像生成估计控制，并且所述估计控制和一组N个图像被输入到所述图像预测器。将预测图像和所述一组N个图像输入到所述图像预测器，所述图像预测器输出指示所述预测图像是否准确的值。基于此值的损失函数和所述车辆控制与所述一组N个图像的估计控制之间的差被用作用于训练所述控制发生器的反馈。
专利类型：	发明专利
国家地区组织代码：	美国;US
申请人：	福特全球技术公司
发明人：	安德鲁·瓦根马克尔
专利状态：	有效
申请日期：	2018-12-18T00:00:00+0800
发布日期：	2019-06-28T00:00:00+0800
申请号：	CN201811550972.2
公开号：	CN109941293A
代理机构：	北京连和连知识产权代理有限公司
代理人：	回旋
分类号：	B60W50/00(2006.01);B;B60;B60W;B60W50
申请人地址：	美国密歇根州迪尔伯恩市
主权项：	1.一种方法，其包括由计算装置：将多组图像以及每组图像的对应控制输入输入到图像预测器；将所述多组图像以及每组图像的来自所述图像预测器的预测图像输入到鉴别器中；以及根据每个组的来自所述鉴别器的输出进一步训练控制发生器。 2.如权利要求1所述的方法，其中所述一组图像是来自安装到车辆的摄像机的输出的一组连续图像。 3.如权利要求1所述的方法，其中每个组的来自所述鉴别器的所述输出是两个值中的一个，所述两个值中的第一个指示积极结果，而所述两个值中的第二个指示消极结果。 4.如权利要求1所述的方法，其中每组图像的所述对应控制输入是转向角。 5.如权利要求1所述的方法，其中每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。 6.如权利要求1所述的方法，其中所述图像预测器、所述鉴别器和所述控制发生器均是深度神经网络模型。 7.如权利要求1所述的方法，其中所述图像预测器、所述鉴别器和所述控制发生器均是卷积神经网络模型。 8.一种系统，其包括一个或多个处理装置和可操作地耦接到所述一个或多个处理装置的一个或多个存储器装置，所述一个或多个存储器装置存储可执行代码，所述可执行代码有效地致使所述一个或多个处理装置：将多组图像以及每组图像的对应控制输入输入到图像预测器，每组图像是来自安装到车辆的摄像机的输出的一组连续图像；将所述多组图像以及每组图像的来自所述图像预测器的预测图像输入到鉴别器中；并且根据所述多组图像、每个组的所述对应控制输入和每个组的来自所述鉴别器的输出进一步训练控制发生器；其中所述图像预测器、所述鉴别器和所述控制发生器均是卷积神经网络模型。 9.如权利要求8所述的系统，其中每个组的来自所述鉴别器的所述输出是两个值中的一个，所述两个值中的第一个指示积极结果，而所述两个值中的第二个指示消极结果。 10.如权利要求8所述的系统，其中每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。 11.一种方法，其包括由计算装置：从安装到第一车辆的第一摄像机接收第一图像流，所述第一图像流在第一时间段捕获；接收用于所述车辆的第一控制输入流，所述第一控制输入流在所述第一时间段期间捕获；生成第一训练数据组，每个训练数据组包括来自所述第一图像流的N个连续图像，其中N是大于一的整数，来自在时间上对应于所述第一图像流的所述第一控制输入流的一个或多个控制输入，以及紧跟在所述每个训练数据组的所述第一图像流中的所述N个连续图像之后的图像；使用所述第一训练数据组来训练图像预测器；生成第二训练数据组，每个训练数据组包括来自第二图像流的P个连续图像，其中P处于等于和不等于N中的一种情况，所述第二图像流与所述第一图像流相同或不同，处于以下情况中的一种情况的图像：(a)不是紧跟在所述每个训练数据组的所述第二图像流中的所述N个连续图像之后的图像，和(b)是紧跟在所述每个训练数据组的所述第二图像流中的所述P个连续图像之后的图像；以及如果(a)为真则为第一值而如果(b)为真则为第二值的期望输出；以及根据所述第二训练数据组训练图像鉴别器；以及使用所述图像鉴别器的输出来训练控制发生器。 12.如权利要求11所述的方法，其中训练所述控制发生器包括：接收是所述第一图像流、第二图像流以及与所述第一图像流和所述第二图像流不同的图像流中的一者的第三图像流；针对所述第三图像流中的每组N个连续图像，生成对应估计控制输入；将来自所述第三图像流的每组N个连续图像和对应于来自所述第三图像流的所述每组N个连续图像的所述估计控制输入输入到所述图像预测器中，以获得来自所述第三图像流的所述每组N个连续图像的预测图像；将来自所述第三图像流的每组N个连续图像和来自所述第三图像流的所述每组N个连续图像的所述预测图像输入到所述图像鉴别器中，以获得来自所述第三图像流的所述每组N个连续图像的鉴别器输出；以及使用来自所述第三图像流的所述每组N个连续图像的所述鉴别器输出进一步训练所述控制发生器。 13.如权利要求12所述的方法，其中使用所述鉴别器输出进一步训练所述控制发生器包括：针对每组N个连续图像，生成损失函数值，所述损失函数值在所述鉴别器输出是所述第一值时增大，并且随着所述估计控制输入与对应于所述每组N个连续图像的来自所述第一控制输入流的一个或多个控制输入之间的差的量值增大；以及训练所述控制发生器以减小所述损失函数值。 14.如权利要求12所述的方法，其中来自所述第三图像流的每组图像的所述对应控制输入是转向角、加速度输入和制动输入中的至少一者。 15.如权利要求12所述的方法，其中所述图像预测器、所述图像鉴别器和所述控制发生器是深度神经网络和卷积神经网络模型中的一者。
所属类别：	发明专利