原文传递
基于深度强化学习的干线交通信号协调优化控制方法
| 论文题名： | 基于深度强化学习的干线交通信号协调优化控制方法 |
| 关键词： | 双环相位结构;干线信号协调控制;深度强化学习;图注意力网络 |
| 摘要： | 随着信息技术的快速发展，近年来，深度强化学习方法在交通运输领域得到广泛应用。特别是在交通信号控制领域，已成为当前交通信号控制发展的重要方向。强化学习由于其智能决策控制的优点，特别适合交通信号相位切换决策的过程，因而具有重要的应用价值，也是人工智能与交通控制结合的重要切入点。 本文立足干线交通信号协调优化控制的实际需求，基于深度强化学习技术，在干线交通信号协调控制方法优化方面做了如下工作。首先，以典型十字交叉口的NEMA双环相位结构为约束，结合智能体经验共享机制，对智能体动作空间进行改进，有效降低了状态-动作空间维度，提高了强化学习经验样本的利用率和智能体训练效率。在此基础上，分析了不同交通需求、不同信号参数等场景下的单点深度强化学习信号控制方法的鲁棒性，验证了双环相位结构约束下的交通信号控制方法的有效性与实用性。其次，将单点信号控制方法拓展到干线协调控制，结合干线交通协调控制的实际需求，分析在不同交通需求的场景下，干线、支路优先权重系数对干线协调控制效果的影响，建立干线、支路优先权重系数值与路网车均延误时间的关系模型，为进一步提高干线信号协调控制效率奠定了重要基础。最后，构建多层图注意力网络作为干线交叉口协调机制，解决了大规模干线路网交叉口信号控制协作问题。在不同交通需求场景下设计交通仿真实验，分析不同交通需求下干线协调控制过程中上、下游交叉口对干线协调控制效果的影响程度，验证了基于多层图注意力网络的干线信号协调控制方法对于提高干线通行效率的有效性。 综上，本文以双环相位结构约束下的单点信号控制方法研究为底层支撑，结合干线路网交通需求，建立干线、支路奖励权重系数模型，并以此作为实际应用约束，引入多层图注意力深度神经网络，进一步解决了干线路网交叉口信号控制协作问题。本文的研究将进一步提升干线交通信号协调优化控制的实用性，推进深度强化学习方法在交通信号控制领域的实际应用，有效提高干线信号协调优化控制的效果。 |
| 作者： | 赵乾 |
| 专业： | 交通运输工程 |
| 导师： | 金盛 |
| 授予学位： | 硕士 |
| 授予学位单位： | 浙江大学 |
| 学位年度： | 2021 |
检索历史
应用推荐
