原文传递
基于强化学习的城市快速路交织区入口匝道智能控制方法
| 论文题名： | 基于强化学习的城市快速路交织区入口匝道智能控制方法 |
| 关键词： | 城市快速路;交织区;交通特性;匝道控制 |
| 摘要： | 快速路匝道系统相比高速公路匝道系统，入口匝道和出口匝道之间的距离更近，交织区更易发生主线拥挤并向上游和入口匝道蔓延。通常用匝道控制来解决主线拥挤和入口匝道排队问题，传统方法存在交通模型构建、模型参数标定、依赖先验知识以及控制迟滞性等缺陷。本文基于强化学习研究快速路交织区匝道智能控制方法，直接利用实测数据对快速路路网多个入口匝道进行协调控制，且控制效果受控制参数设置的影响较小，是一类无模型、自学习的匝道智能控制方法。 明确交织区基本概念，基于实际采集数据进行交织区交通特性分析，为后文仿真实验路网构建提供基础。 介绍强化学习基本概念，分析Q学习算法及其改进算法SARSA的优劣性。基于SARSA算法建立单个匝道控制模型，以匝道调节量为行为，匝道排队长度、交织区通过量和占有率为状态，路网通过量为奖赏函数，确定行为空间、状态空间、奖赏函数和行为选择机制，形成基于SARSA的匝道局部控制方法(SRM)。 基于多Agent强化学习方法，将匝道局部智能控制扩展至协调控制方法，对多个入口匝道进行控制。基于协作图法，给出其Q值矩阵更新规则、联合奖赏函数和最优联合行为策略，形成基于SARSA的匝道协调控制方法(CSRM);考虑匝道长度限制和交织区临界占有率逼近，对奖赏函数进行修正，使得算法能够充分利用空闲排队空间，且增大交织区交通通过量。 构建Vissim-Matlab仿真平台，以南京卡子门快速路部分路段为仿真背景，将本文的局部和协调控制方法与传统方法进行对比。 局部控制方案对比:新方法SRM相比于传统方法ALINEA平均延误减少16.10％，总延误减少12.10％，平均车速提升6.77％，总行程时间减少了3.78％;此外，SRM的匝道排队长度小于ALINEA，且高峰期拥挤匝道交织区平均交通通过量相比ALINEA提高了210veh/h。 协调控制方案对比:新方法CSRM相对于传统方法BOTTLENECK平均延误减少4.31％，总延误减少2.09％，平均车速提升了3.69％，总行程时间基本持平;此外，高峰期CSRM的空闲匝道排队长度大于BOTTLENECK，拥挤匝道的排队长度小于BOTTLENECK，且拥挤匝道交织区平均交通通过量相比BOTTLENECK提高了140veh/h。 本文提出将强化学习理论应用于匝道控制中，探讨智能控制方法在快速路交通领域的作用，为后续的研究提供了新思路。 |
| 作者： | 韩靖 |
| 专业： | 交通运输工程；交通信息工程及控制 |
| 导师： | 柴干 |
| 授予学位： | 硕士 |
| 授予学位单位： | 东南大学 |
| 学位年度： | 2017 |
| 正文语种： | 中文 |
检索历史
应用推荐
