详情

原文传递城市交叉口信号灯智能优化控制方法研究

论文题名：	城市交叉口信号灯智能优化控制方法研究
关键词：	城市交叉口;信号灯;智能优化控制;强化学习;博弈论;合作博弈
摘要：	随着城市化进程的加快和机动车数量的迅猛增加，城市交通拥堵问题日益严重。智能交通系统(ITS)作为解决城市交通问题的主要手段受到世界各国的广泛关注。其中，城市交通控制系统作为ITS的重要组成模块，一直是研究的热点和焦点。但由于城市交通系统的复杂性、时变性和不确定性，现有控制技术并不能够完全满足城市交通的需求，因而迫切要求挖掘和开发新的控制技术。本文分别应用二十世纪九十年代兴起的混杂系统理论以及人工智能范畴的强化学习方法研究城市交叉口信号灯控制问题，旨在为信号灯控制的实施提供新的思路和解决办法。混杂系统理论与传统的连续反馈控制相比较，引入了基于逻辑的离散事件动态，其优化控制问题就是通过控制切换时间以求得最优的控制性能。城市交叉口信号灯控制系统既包含连续动态过程，又包含离散事件切换过程，是一个典型的混杂系统。交叉口信号灯混杂系统的优化控制就是通过控制信号灯的相位切换时间以求得最佳的控制性能。本文基于单交叉口信号灯控制系统的混杂特性，建立了单交叉口信号灯控制的混杂切换系统模型。应用混杂切换系统两状态优化法研究单交叉口信号灯最优控制；在此基础上，提出遗传算法和两状态法相结合研究混杂切换系统最优控制问题，并应用该方法实现单交叉口信号灯全局最优控制。对于两交叉口信号灯控制，同样建立其混杂切换系统模型，仿真分析了该模型的可行性。提出对于不易建立精确数学模型的混杂系统，能够应用强化学习实现其优化控制，并给出了采用该方法解决两交叉口信号灯控制的基本思路。研究结果表明，单交叉口信号灯控制具有典型的混杂切换系统特征，能够应用混杂切换系统优化理论实现最优控制，提高道路通行能力。对于两交叉口这样复杂的混杂对象，学习系统的学习机制能够保证控制的优化，说明该方法的有效性。根据城市交通系统的典型特征，期望交通控制系统具有控制策略的自寻优能力和对环境变化的自适应能力。据此本文还利用人工智能领域的强化学习方法研究信号灯优化控制问题。首先，设计了两种方法实现单交叉口变相序控制：一是，应用Q学习和模糊控制器组成混合控制器；二是，基于模糊规则设计强化信号，改进Q学习算法。其次，从两方面研究了基于强化学习的两交叉口信号灯协调控制问题。一方面，基于基本Q学习算法；提出了两相邻交叉口组合相位的概念，将两交叉口转换为单交叉口，应用基本Q学习算法解决两交叉口协调控制；另外，引入博弈论，改进基本Q学习算法，提出Game-Q学习。分析两交叉口之间的协调特征，以合作博弈解作为Q学习的决策选择依据，实现两交叉口协调控制。另一方面，基于分布式Q学习算法；采用独立分布式O学习算法解决两交叉口协调控制问题。这种外延式的协调方式不采用组合动作；另外，采用群体分布式Q学习算法，提出了NashCC-Q学习，在两交叉口组合相位概念的基础上，引入合作博弈协调机制，通过求解合作博弈解，实现两交叉口内涵式的协调控制。应用Paramics微观交通仿真软件进行控制算法的仿真实验，结果表明，强化学习能够适应多变的交通环境，取得很好的控制效果。论文的最后，采用独立分布式Q学习算法解决多交叉口线控制以及面控制，说明独立分布式强化学习在解决多学习体协调时的优势。
作者：	赵晓华
专业：	模式识别与智能系统
导师：	陈阳舟
授予学位：	博士
授予学位单位：	北京工业大学
学位年度：	2006
正文语种：	中文