原文传递
基于深度Q学习的城市路网区域协调控制研究
| 论文题名： | 基于深度Q学习的城市路网区域协调控制研究 |
| 关键词： | 城市路网;区域协调;交通控制;深度Q学习;延误模型 |
| 摘要： | 近年来，我国因城市交通拥堵带来的一系列问题日趋严重，智能交通控制技术的发展，有效地解决了部分城市交通问题。区域协调信号控制可以显著提高城市路网整体的通行效率，因而是智能交通控制技术的重点研究方向。本文研究降低局部路网车均延误的区域协调优化控制方法，论文的主要工作如下: 1.局部路网区域平均延误建模 通过对交叉口相关性和局部路网交通流特性的分析，将区域平均延误分为外部进口道延误和内部进口道延误，进一步针对交通流的整体性和离散性将内部进口道延误分为均匀延误和随机延误，在此基础上，建立了区域平均延误模型，并通过仿真实验验证了模型的有效性。 2.单交叉口优化控制研究 单交叉口控制是区域协调控制的基础，论文研究单交叉口优化控制的深度Q学习算法。为了进一步提升部分可观测马尔可夫情形下的单交叉口控制性能，引入了深度循环Q学习算法。将交叉口进口道的车辆表示成位置、速度和加速度矩阵，使得Q学习所需的状态空间更符合实际状态。在深度Q网络中引入循环神经网络LSTM，利用LSTM网络记忆时间轴信息的能力，使得深度Q网络提取到车辆的动态信息。仿真实验表明，深度循环Q学习算法有效降低了交叉口的平均延误。 3.区域协调优化控制 将单交叉口的深度循环Q学习算法扩展到局部路网中，采用动作联动的多智能体强化学习方法，进行区域协调优化控制。为了提高算法的速度，使用分布式Max-plus算法获得最优联合动作，同时采用迁移学习对多交叉口进行Q学习的初始化从而减少训练时间。仿真实验表明了本文所提的区域协调优化算法有效地减少了区域内车辆的平均延误，提高了整个路网的通行能力。 |
| 作者： | 施赛江 |
| 专业： | 控制科学与工程 |
| 导师： | 陈锋 |
| 授予学位： | 硕士 |
| 授予学位单位： | 中国科学技术大学 |
| 学位年度： | 2018 |
| 正文语种： | 中文 |
检索历史
应用推荐
