详情

原文传递自动驾驶控制方法、装置、设备及计算机可读存储介质

专利名称：	自动驾驶控制方法、装置、设备及计算机可读存储介质
摘要：	本发明提供一种自动驾驶控制方法、装置、设备及计算机可读存储介质。本发明实施例采集当前行驶对象所在驾驶场景的图像，通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，由于参考至少一行人在一个历史时间段t1内的动作信息，可以实现对至少一行人在未来时间段t2内的动作趋势的准确预测，并结合了行人在未来时间段t2内的动作趋势，从而实现了对当前行驶对象的准确的驾驶控制。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京百度网讯科技有限公司
发明人：	于宁
专利状态：	有效
申请日期：	2019-01-15T00:00:00+0800
发布日期：	2019-06-14T00:00:00+0800
申请号：	CN201910036809.2
公开号：	CN109878512A
代理机构：	北京鸿德海业知识产权代理事务所(普通合伙)
代理人：	袁媛
分类号：	B60W30/08(2012.01);B;B60;B60W;B60W30
申请人地址：	100085 北京市海淀区上地十街10号百度大厦2层
主权项：	1.一种自动驾驶控制方法，其特征在于，包括：采集当前行驶对象所在驾驶场景的图像；通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。 2.根据权利要求1所述的方法，其特征在于，所述当前行驶对象包括：车辆或机器人。 3.根据权利要求1所述的方法，其特征在于，所述运动规划信息包括：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。 4.根据权利要求1所述的方法，其特征在于，所述动作信息包括以下任意一项或多项：摆手、提腿、转身、头部动作；所述动作趋势包括：静止或者运动。 5.根据权利要求1所述的方法，其特征在于，所述基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势，包括：分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。 6.根据权利要求1所述的方法，其特征在于，所述动作趋势为静止时，所述根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，包括：根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。 7.根据权利要求1所述的方法，其特征在于，所述动作趋势为运动时，所述根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制，包括：通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。 8.根据权利要求7所述的方法，其特征在于，所述行走行为信息包括：行走方向、行走速度、行走路径。 9.根据权利要求6～8任一权利要求所述的方法，其特征在于，所述驾驶控制策略包括以下任意一项：忽略、减速、加速、停止、跟随、绕过；所述基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制，包括：基于所述当前行驶对象的驾驶控制策略对所述当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。 10.根据权利要求1所述的方法，其特征在于，还包括：利用包括行人的样本视频对所述第一神经网络进行训练。 11.一种自动驾驶控制装置，其特征在于，包括：图像采集单元，用于采集当前行驶对象所在驾驶场景的图像；第一预测单元，用于通过第一神经网络，基于所述图像中至少一行人在一个历史时间段t1内的动作信息，预测所述至少一行人在未来时间段t2内的动作趋势；控制单元，用于根据所述至少一行人在未来时间段t2内的动作趋势和所述当前行驶对象的运动规划信息，对所述当前行驶对象进行驾驶控制。 12.根据权利要求11所述的装置，其特征在于，所述当前行驶对象包括：车辆或机器人。 13.根据权利要求11所述的装置，其特征在于，所述运动规划信息包括：行驶路径、在行驶路径上各位置点的行驶方向、速度和加速度。 14.根据权利要求11所述的装置，其特征在于，所述动作信息包括以下任意一项或多项：摆手、提腿、转身、头部动作；所述动作趋势包括：静止或者运动。 15.根据权利要求11所述的装置，其特征在于，所述第一预测单元，具体用于通过所述第一神经网络：分别针对至少一行人在一个历史时间段t1内的至少一帧历史图像，提取历史图像中各行人的肢体动作特征；分别以一个位移向量表示各行人在历史时间段t1内的肢体动作特征；根据所述至少一行人的位移向量生成第一偏移量矩阵，基于所述第一偏移量矩阵获取用于表示所述至少一行人在未来时间段t2内的动作趋势的第二偏移量矩阵；由所述第二偏移量矩阵获得用于表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量；分别获取表示所述至少一行人在未来时间段t2内的肢体动作特征的位移向量对应的肢体动作特征；分别根据所述至少一行人在未来时间段t2内的肢体动作特征，获取至少一行人在未来时间段t2内的动作趋势。 16.根据权利要求11所述的装置，其特征在于，所述动作趋势为静止时，所述控制单元具体用于：根据所述至少一行人的位置、所述至少一行人与所述当前行驶对象之间的距离、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。 17.根据权利要求11所述的装置，其特征在于，所述动作趋势为运动时，所述装置还包括：第二预测单元，用于通过第二神经网络，基于所述至少一行人在未来时间段t2内的动作趋势，预测所述至少一行人在未来时间段t2内的行走行为信息；所述控制单元，具体用于：根据所述至少一行人在未来时间段t2内的行走行为信息、以及所述当前行驶对象的运动规划信息和当前的运动状态，确定所述当前行驶对象的驾驶控制策略；基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制。 18.根据权利要求17所述的装置，其特征在于，所述行走行为信息包括：行走方向、行走速度、行走路径。 19.根据权利要求16～18任一权利要求所述的装置，其特征在于，所述驾驶控制策略包括以下任意一项：忽略、减速、加速、停止、跟随、绕过；所述控制单元基于所述当前行驶对象的运动规划信息和驾驶控制策略，对所述当前行驶对象进行驾驶控制时，具体用于基于所述当前行驶对象的驾驶控制策略对所述当前行驶对象的运动规划信息进行调整，并基于调整后的运动规划信息对所述当前行驶对象进行驾驶控制。 20.根据权利要求11所述的装置，其特征在于，还包括：训练单元，用于利用包括行人的样本视频对所述第一神经网络进行训练。 21.一种设备，其特征在于，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～10中任一所述的自动驾驶控制方法。 22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～10中任一所述的自动驾驶控制方法。
所属类别：	发明专利