详情

原文传递基于深度强化学习的智能交通信号控制方法研究

论文题名：	基于深度强化学习的智能交通信号控制方法研究
关键词：	交通信号控制;深度强化学习;图神经网络;门控循环单元;数字孪生
摘要：	交通拥堵已经对全球经济、环境的健康可持续发展造成了严重的影响。交叉路口作为城市交通路网的关键节点，是发生交通拥堵的主要区域，因此如何提升交叉路口的交通信号控制效率，是有效缓解城市交通拥堵的关键。传统的交通信号控制主要从规则和模型两方面来优化交通信号控制参数，存在诸多理想的假设不符合实际交通状况，控制效果欠佳。近年来，随着大数据技术的发展获取丰富多样的交通数据、算力的增强和人工智能技术的成熟，以数据驱动为导向的交通信号控制方法成为新的研究方向，其中结合深度强化学习的交通信号控制优化方法是最主要的研究热点。虽然已经有很多基于深度强化学习的交通信号控制优化算法被提出并且取得了较好的效果。但是，现有的控制算法依然存在以下不足：（1）针对单交叉路口的信号控制研究多采用结构化的交通状态表示，存在着信息描述准确性不足、交通状态节点关系感知能力不足等问题。（2）现有基于深度强化学习的信号控制研究中多使用当前时刻的交通状态进行训练，忽略了交通流的时序特征，在交通流变化较大的情况下控制效果有限。（3）针对区域路网多交叉路口的交通信号控制的研究中，存在着复杂路网下交通状态维度过高以及智能体之间的协调通信花费时间过长严重影响路网通行效率的问题。针对以上问题，本文开展的研究工作如下：　　1.提出一种基于双重注意力机制异构图深度强化学习的交通信号控制方法。将基于节点级与语义级注意力机制的异构图神经网络和强化学习相结合，通过图神经网络在非欧式空间数据中强大处理能力，挖掘交通节点内部潜在关联特征和自动关注重要的状态分量以增强网络的感知能力，为强化学习决策推理与状态预判提供潜在信息支持做出精准信号控制决策。实验结果表明，与其它先进算法相比，本文所提算法在多个交通性能指标上均有提升。　　2.提出一种基于BGRU交通流预测深度强化学习的交通信号控制方法。首先，利用独热编码设计简洁且高效的交通状态，对当前的交通状态进行精确刻画；其次，针对当前的交通状态，使用双向门控循环单元预测未来的交通态势，将预测的下一时刻的交通状态作为增广信息和当前交通状态相结合作为信号控制算法的输入；最后，使用基于DQN的深度强化学习算法对结合当前和未来交通信息的增广交通状态进行交通信号最优控制决策。实验结果表明，本文所提算法与基于深度强化学习的交通信号控制基准算法相比，在多个交通性能指标上均优。　　3.提出一种基于数字孪生使能的深度强化学多交叉路口信号控制方法。首先，搭建了四层架构的交通路网多交叉路口信号控制数字孪生体系架构，通过实时的信息传输和数据融合，实现真实交通路网从物理空间到数字空间的映射，构建交通网络的数字孪生体；其次，建模基于图神经网络深度强化学习的数字孪生模型，实现真实交通路网和数字孪生体交通网络的虚实交互；最后，以交通路网的最大通行效率为优化目标训练单一智能体对多路口路网进行全局信号控制。实验结果表明，本文所提算法在多个交通性能指标上均优于基于深度强化学习的多路口交通信号控制基准算法。
作者：	王坤
专业：	软件工程
导师：	赵中楠
授予学位：	硕士
授予学位单位：	哈尔滨理工大学
学位年度：	2023