原文传递
基于深度强化学习的单交叉口交通信号控制方法研究
| 论文题名： | 基于深度强化学习的单交叉口交通信号控制方法研究 |
| 关键词： | 单交叉口;交通信号控制;深度学习;强化学习 |
| 摘要： | 随着汽车数量的持续增长，交通拥堵已经成为世界各国城市发展中出现的公共问题。尽管道路设施建设能够在一定程度上缓解交通拥堵，但是会受到成本、土地、时间等因素的制约，建立智能交通信号控制系统是解决该问题最经济和有效的办法之一。本文将深度强化学习方法应用到单交叉口信号控制中，提高车辆通行效率。论文的主要工作如下: (1)将Q学习和浅层神经网络结合并应用到单交叉口信号控制中。根据车辆排队数定义交通状态，用浅层神经网络拟合Q函数，讨论了两种不同奖励定义方法之间的区别。通过实验证明了基于浅层神经网络的Q学习信号控制方法优于定时控制和最长队列先行这两种经典的信号控制方法。 (2)研究了基于深度Q学习的单交叉口信号控制方法。根据车辆位置重新定义交通状态，引入深度卷积神经网络取代之前的浅层神经网络，加入经验回放技术提高算法的稳定性。实验结果表明，在相同交通环境中，基于深度Q学习的信号控制方法的车辆通行效率得到提升。 (3)考虑车辆长度之间的差异，对基于深度Q学习的单交叉口信号控制方法进行了改进，提出两种新的交通状态表示方法。另外，智能体在进行动作选择时，利用模拟退火策略取代之前的ε贪婪探索策略，缩短了算法的训练时间，提高了算法的收敛速度。 (4)研究了基于深度确定性策略梯度(DeepDeterministicPolicyGradient，DDPG)算法的单交叉口信号控制方法。提出新的信号相位执行策略，在每个决策点输出下一相位的执行时间。实验结果表明，相比于基于深度Q学习的信号控制方法，由于基于DDPG算法的信号控制方法输出的相位执行时间可以是连续的，因此车辆平均延误时间更短，车道平均车辆排队数更少。 |
| 作者： | 丁可 |
| 专业： | 系统工程 |
| 导师： | 庞哈利 |
| 授予学位： | 硕士 |
| 授予学位单位： | 东北大学 |
| 学位年度： | 2018 |
检索历史
应用推荐
