原文传递
路网模型下智能交通信号灯控制的研究
| 论文题名： | 路网模型下智能交通信号灯控制的研究 |
| 关键词： | 交通信号控制;城市路网;深度强化学习;多智能体 |
| 摘要： | 随着现代城市中汽车保有量的连年增长，交通拥堵逐渐成为现代城市发展中影响最恶劣的顽疾之一。由交通拥堵导致的资源浪费、污染排放、时间成本等问题不仅造成了巨大的经济损失，也严重影响着民众的生活质量，已逐渐成为一个难以根治的长期社会问题。如何有效地治理交通拥堵是世界性的难题与挑战。 近年来，深度强化学习的发展为研究此类问题提出新的可能：通过合理地设置奖励函数，使智能体与环境交互并学习交通信号控制策略，从而智能地控制交通信号灯，达到减少平均通行时间的目标，最终缓解交通拥堵。然而，现有的大多数研究没有充分考虑到现实城市路网的复杂性与多变性，仍有许多问题亟待解决。 本文将在交通信号控制领域前沿的研究基础上，针对路网道路环境下的深度强化学习模型，提出几项优化措施，通过仿真实验来验证模型的可行性与多路口协同控制方面的优越性，并通过大量实验探索路网环境下强化学习模型最优参数组的选取。本文的主要研究工作如下： （1）本文在传统交通控制指标道路压力值的基础上作出改进，提出基于路网压力的深度强化学习交通信号控制模型，该模型使用针对路网模型优化的归一化压力值定义深度强化学习的奖励函数，通过仿真实验验证了该指标能有效表征路网环境下的路口拥堵情况。 （2）本文提出基于深度决斗双Q网络的路网交通信号控制模型，使用三种改进措施来优化传统的深度Q网络模型，根据深度双Q网络与深度决斗Q网络的改进思路来缓解Q值的过度估计问题。引入优先级经验回放策略帮助模型更快地训练和收敛，并通过仿真实验验证优化措施的成效。 （3）本文提出基于图注意力网络的多智能体协同交通信号控制算法，对于现实的路网环境，相邻路口间的影响是随着路况不断动态变化的。本文使用图注意力网络与多头注意力机制聚合路口及其邻域的特征信息，实现各路口的协同交互，通过实验验证了注意力分数能够有效表示各邻域路口对中心路口的影响。 （4）本文提出智能交通信号控制融合模型，融合上述三项优化措施。论文以该模型为基础搭建仿真实验系统，通过对比实验验证了融合算法在路网模型下的优越性。同时，对路网交通环境下强化学习模型状态空间与奖励函数的选取进行深入探索，通过大量对比实验得到最优的参数组合定义。 |
| 作者： | 毛宇轩 |
| 专业： | 控制科学与工程 |
| 导师： | 曾勇 |
| 授予学位： | 硕士 |
| 授予学位单位： | 电子科技大学 |
| 学位年度： | 2023 |
检索历史
应用推荐
