原文传递
基于强化学习的自动驾驶车辆超车决策方法研究
| 论文题名： | 基于强化学习的自动驾驶车辆超车决策方法研究 |
| 关键词： | 自动驾驶;超车决策;轨迹信息;强化学习;多智能体 |
| 摘要： | 受益于感知、通信等相关技术的迅速发展，自动驾驶技术逐渐成为交通领域的研究热点。超车是一种具有较高行车风险的驾驶动作，存在与被超越车辆发生剐蹭和追尾等事故的可能，因此为自动驾驶车辆设计安全高效的超车决策方法具有重要意义。本文依托国家重点研发计划项目课题“车路协同环境下车辆群体智能控制理论与测试验证”（2018YFB1600600），开展了周围环境车辆行为分析和模拟、非协作超车和协作超车行为决策方法研究，具体研究内容包括： （1）为了确保自动驾驶超车实验中周围车辆具有真实行车环境下的行驶特征，从真实车辆轨迹数据中选择与驾驶风格相关的14种特征，采用主成分分析法与k均值聚类算法，从车辆运动的横向和纵向两个维度对车辆驾驶风格进行了分类，以此为基础，使用不同驾驶风格车辆轨迹信息对智能驾驶模型（IntelligentDriverModel，IDM）进行参数标定，获得了能够反映不同驾驶风格的车辆跟驰模型。 （2）针对现有单车超车决策模型在存在不同驾驶风格周围车辆的非协作超车场景下的收敛速度较慢的问题，提出结合元学习与SAC（SoftActorCritic）强化学习算法的MESAC元强化学习算法，建立基于MESAC算法的单车超车决策模型，通过元训练获取合适的初始参数，以缩短算法迭代时间，实现从状态输入到动作输出的端到端决策。采用不同驾驶风格的IDM模型模拟周围有人驾驶车辆，对所提出算法进行了仿真测试，结果表明基于MESAC的超车决策模型的表现优于基于SAC算法的超车决策模型。 （3）针对现有多车超车决策模型存在耗时长、经验利用率不足的问题，提出基于贪婪优先经验回放和参数共享的PMMAAC多智能体强化学习算法，使用贪婪优先经验回放提高经验的利用率，通过共享网络参数减少算法迭代时间，以此为基础建立多车协作超车决策模型。通过仿真对比试验，验证了基于PMMAAC算法的协作超车决策模型的有效性与优越性。 |
| 作者： | 王占硕 |
| 专业： | 控制工程 |
| 导师： | 汪贵平 |
| 授予学位： | 硕士 |
| 授予学位单位： | 长安大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
