详情

原文传递智能驾驶横向换道决策方法、系统和装置

专利名称：	智能驾驶横向换道决策方法、系统和装置
摘要：	本发明属于智能驾驶领域，具体涉及一种智能驾驶横向换道决策方法，旨在为了解决现有决策方法对未知情况的泛化能力和对异常情况的抗干扰能力较差的问题。本发明采集目标车辆及相邻车辆的速度信息和位置信息，转化为环境表征；通过基于深度强化学习算法构建的高层决策模型获取高层横向驾驶决策动作；基于环境信息和高层横向驾驶决策动作，通过基于规则的低层校正器校正高层横向驾驶决策动作，获取目标车辆最终的横向驾驶决策动作。本发明在基于学习的方法的基础上，加入规则的限制，相比于规则的方法提高了泛化能力，相比于学习的方法提高了对异常情况的抗干扰能力，提高了稳定性，可实现高速路场景下安全、稳定的车辆自主横向换道决策。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	中国科学院自动化研究所
发明人：	张启超;王俊杰;赵冬斌
专利状态：	有效
申请日期：	2019-06-25T00:00:00+0800
发布日期：	2019-10-08T00:00:00+0800
申请号：	CN201910552495.1
公开号：	CN110304045A
代理机构：	北京市恒有知识产权代理事务所(普通合伙)
代理人：	郭文浩;尹文会
分类号：	B60W30/02(2012.01);B;B60;B60W;B60W30
申请人地址：	100190 北京市海淀区中关村东路95号
主权项：	1.一种智能驾驶横向换道决策方法，其特征在于，该方法包括以下步骤：步骤S100，获取目标车辆及其相邻车辆的预设类别环境信息，并转化为环境表征；步骤S200，基于所述环境表征，通过高层决策模型获取所述目标车辆的高层横向驾驶决策动作；所述高层决策模型为基于深度强化学习算法构建的决策模型；步骤S300，基于所述环境信息、所述目标车辆的高层横向驾驶决策动作，通过基于规则的低层校正器校正所述高层横向驾驶决策动作，获取目标车辆最终的横向驾驶决策动作；所述低层校正器为基于规则的分类器。 2.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，所述目标车辆及其相邻车辆的预设类别环境信息包括目标车辆及其相邻车辆的速度信息和位置信息。 3.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，步骤S100中“转化为环境表征”，其方法为：步骤S110，将目标车辆、其相邻车辆的速度标准化至设定区间；步骤S120，基于目标车辆及其所在车道构建N×L的网格阵列，其中L为车道数、N为每个车道所包含的纵向网格数；步骤S130，依据预设的车辆在车道中所占的纵向网格数，以及目标车辆及其相邻车辆的位置、步骤S120中得到标准化后的速度，对所述网格阵列中各网格进行速度填充，获取矩阵形式的环境表征。 4.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，所述高层决策模型为基于深度强化学习算法的奖赏函数R、横向动作决策集合A构建的基于深度Q网络的决策模型，其训练方法为：按照比例分别从训练样本集的不同经验池中随机采样构成训练样本最小集M；基于训练样本最小集M，计算损失函数值，采用随机梯度下降法优化迭代更新所述深度神经Q网络参数，直至收敛；目标网络参数以设定的步数间隔利用Q网络参数进行更新。所述训练样本集为由t-1时刻状态表征、t-1时刻决策动作、t-1时刻奖赏值、t时刻状态表征构成的样本集合，其中，t为决策时刻。 5.根据权利要求4所述的智能驾驶横向换道决策方法，其特征在于，所述的横向动作决策集合A，其决策动作包括：动作a0：目标车辆保持在当前车道行驶；动作a1：目标车辆向左换道；动作a2：目标车辆向右换道。 6.根据权利要求4所述的智能驾驶横向换道决策方法，其特征在于，所述奖赏函数定义为：高层横向驾驶决策动作在决策周期内导致碰撞，奖赏函数输出惩罚rco；高层横向驾驶决策动作导致目标车辆驶入非法车道或者驶离路面，奖赏函数输出惩罚rch1；目标车辆前方没有障碍物阻挡，高层决策模型输出换道决策，奖赏函数输出惩罚rch2；当换道发生时，没有前述意外情况发生，奖赏函数输出λ(v-vref)+rch3；在正常行驶的情况下，奖赏函数输出奖赏rv＝λ(v-vref)；其中：v表示自上次决策以来的一个决策周期内目标车辆的平均时速，vref为参考车速，λ为调节系数。 7.根据权利要求1所述的智能驾驶横向换道决策方法，其特征在于，所述“通过基于规则的低层校正器校正所述高层横向驾驶决策动作”的步骤为：步骤S310，基于所述高层横向驾驶决策动作，获取目标车辆下一时间段行驶轨迹作为第一行驶轨迹；步骤S320，基于所述高层横向驾驶决策动作，获取相邻车辆下一时间段行驶轨迹作为第二行驶轨迹；步骤S330，基于第一行驶轨迹和第二行驶轨迹间的最短距离，通过低层校正器根据预设的规则获取所述高层横向驾驶决策动作的分类结果。 8.根据权利要求5所述的智能驾驶横向换道决策方法，其特征在于，所述低层校正器中的分类包括车辆非法换道、车辆安全换道；所述低层校正器中的预设规则包括：如果车辆在最左侧车道且换道动作为向左换道或车辆在最右侧车道且换道动作为向右换道，则为车辆非法换道；如果第一行驶轨迹和第二行驶轨迹间的最短距离小于等于设定安全阈值，则为车辆非法换道；如果车辆换道方向存在目标车道，且第一行驶轨迹和第二行驶轨迹间的最短距离大于设定安全阈值，则为车辆安全换道。 9.根据权利要求8所述的智能驾驶横向换道决策方法，其特征在于，步骤S300中“通过基于规则的低层校正器校正所述高层横向驾驶决策动作”，其方法为：根据所述低层校正器对所述高层横向驾驶决策动作的分类，若为车辆非法换道则取消当前决策动作并保持当前车道行驶，若为车辆安全换道则执行所述高层横向驾驶决策动作。 10.一种智能驾驶横向换道决策系统，其特征在于，该系统包括环境表征获取模块，高层横向驾驶决策动作获取模块，最终横向驾驶决策动作获取模块；所述环境表征获取模块，配置为获取目标车辆及其相邻车辆的预设类别环境信息，并转化为环境表征；所述高层横向驾驶决策动作获取模块，配置为基于所述环境表征，通过高层决策模型获取所述目标车辆的高层横向驾驶决策动作；所述高层决策模型为基于深度强化学习算法构建的决策模型；所述最终横向驾驶决策动作获取模块，配置为基于所述环境信息、所述目标车辆的高层横向驾驶决策动作，通过基于规则的低层校正器校正所述高层横向驾驶决策动作，获取目标车辆最终的横向驾驶决策动作；所述低层校正器为基于规则的分类器。 11.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9中任一权利要求所述的智能驾驶横向换道决策方法。 12.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9中任一权利要求所述的智能驾驶横向换道决策方法。
所属类别：	发明专利