原文传递
基于强化学习的高速公路施工区智能车辆运行控制研究
| 论文题名： | 基于强化学习的高速公路施工区智能车辆运行控制研究 |
| 关键词： | 高速公路施工区;交通控制;多智能体;强化学习 |
| 摘要： | 随着智能网联车辆(Connected and autonomous vehicle CAV)技术的发展,城市道路和高速公路中的交通控制方法得到了智能化地发展.针对现有高速公路施工区局部单点交通控制方法的局限性,本文提出了基于多智能体强化学习的高速公路施工区协同多点交通控制方法,并搭建在线仿真平台对该控制方法和控制效果进行可视化分析与验证. 本文针对多智能体强化学习算法于高速公路施工区智能网联车辆运行控制展开相关研究,主要工作涉及以下几方面:首先,借鉴并分析主动交通管理中可变限速控制方法的优劣性,在高速公路施工区处,提出了车辆汇入控制,通过实时调整施工处多车辆之间的车头时距,以此改变施工区多车辆之间的跟驰状态;接着分析施工区上游交通量分布不均匀问题,通过换道间隙识别并结合车辆汇入控制机制,提出多车辆提前换道控制,达到施工区上游交通流提前分配的目的;其次,应用强化学习中的分布式多Agent在线SARSA算法,将汇入控制和提前换道控制进行联立,实现车辆在施工区前多控制区域之间的协同控制;另外,建立多Agent中的协同汇入和换道动作,以车道占有率和交通量为状态监测,车辆停车次数和所构建的密度函数为联合奖赏,并借助协作图法将多Agent中的相邻Agent纳入一个多维Q矩阵,确保每个Agent在更新本体Q值时能够考虑到相邻Agent的交互作用下寻找全局最优结果,克服了集中式多Agent强化学习中随着Agent数量的增长使得Q值矩阵呈指数增长的问题. 最后,结合MATLAB和VISSIM COM搭建了在线交互仿真平台,并对所提出的控制进行仿真评价;记录学习过程中奖赏值和Q值的更新迭代过程,验证算法结果的敛散性;提出了四个方案进行对比分析,并可视化四种方案下的全局车辆运行轨迹;选用多个指标验证控制的优化效果.在对比结果中表明,所提出的控制方法性能优于现有的局部可变限速理论,车辆的行驶轨迹较其他方案下更加平顺.此外,在所选指标下,优化效果显著.上述研究结果表明,本文提出的基于多智能体强化学习的高速公路智能车辆运行控制研究,能够显著提升高速公路施工区路段的运行效率,可以克服现有瓶颈路段中局部单点控制的缺点,可为智能网联车辆运行控制和技术发展提供科学的方法. |
| 作者： | 李晓虎 |
| 专业： | 载运工具运用工程 |
| 导师： | 刘浩学 |
| 授予学位： | 硕士 |
| 授予学位单位： | 长安大学 |
| 学位年度： | 2021 |
检索历史
应用推荐
