原文传递
强化学习及其在城市交通信号控制中的应用研究
| 论文题名： | 强化学习及其在城市交通信号控制中的应用研究 |
| 关键词： | 强化学习;城市交通信号控制;多Agent系统;交通拥堵 |
| 摘要： | 交通拥堵已经成为现代社会中城市及其周围区域普遍存在的问题而且越来越严重，交通信号控制作为调节交通网络中交通流的主要方式，所以优化交通信号控制是解决交通拥堵问题行之有效的方法。由于交通流具有高度的动态性和随机性，又因为交通信号控制问题本身是一个顺序决策问题，所以将强化学习应用到交通流控制是较合适的。将交通信号控制系统看成交通网络中所有交叉口控制器Agent组成的分布式的多 Agent系统，并将强化学习方法应用到这个多 Agent系统，设计并开发基于强化学习的交通信号控制方法来实现自适应交通控制是解决交通拥挤和交通拥堵的主要方法之一。 在本文的研究中，首先，对基于模型的强化学习在交通信号控制中的应用进行了探索和研究。本文改进 TC1交通信号控制方法而给出了TCSG交通信号控制方法。TCSG方法通过考虑车辆长度进而合理计算车辆的目的车道的拥堵信息实现了多个交叉口控制器 Agent的协作。通过在GLD中进行大量的仿真实验表明，TCSG方法优于TC1方法。 其次，对模型无关的强化学习在交通信号控制中的应用进行了探索和研究。设计和实现了DMFQ交通信号控制方法、QSGWE交通信号控制方法、DMFQV交通信号控制方法，DMFS交通信号控制方法和SSGWE交通信号控制方法，它们都采用基于车辆的建模方法来解决以前的基于模型无关的强化学习的交通信号控制方法的状态空间爆炸问题，实现了多交叉口控制器 Agent的共享协作，采用“等待投票机制”预测并选择每个交叉口控制器 Agent的最优动作。在GLD中进行了大量仿真实验表明，它们优于定时信号控制方法和TC1方法。 最后，对本文的研究工作进行了总结，指出本文研究的问题和不足之处，然后对未来的研究工作给出了意见和展望。 |
| 作者： | 唐建华 |
| 专业： | 计算机应用技术 |
| 导师： | 方敏 |
| 授予学位： | 硕士 |
| 授予学位单位： | 西安电子科技大学 |
| 学位年度： | 2012 |
| 正文语种： | 中文 |
检索历史
应用推荐
