原文传递
混合交通流环境下基于改进强化学习的可变限速控制策略
| 题名： | 混合交通流环境下基于改进强化学习的可变限速控制策略 |
| 作者： | 韩磊;张轮;郭为安 |
| 关键词： | 智能交通;可变限速控制;改进竞争双深度Q网络;混合交通流;智能网联车辆;深度强化学习 |
| 摘要： | 现有的可变限速（VSL）控制策略灵活性较差，响应速度较慢，对驾驶人遵从度和交通流状态预测模型的依赖性较高，且单纯依靠可变限速标志（VMS）向驾驶人发布限速值，难以在智能网联车辆（CAVs）与人工驾驶车辆（HDVs）混行的交通环境中实现较好的控制效果。对此，结合深度强化学习无需建立交通流预测模型，能自动适应复杂环境，以及CAVs可控性的优势，提出一种混合交通流环境下基于改进竞争双深度Q网络（IPD3QN）的VSL控制策略，即IPD3QN-VSL。首先，将优先经验回放机制引入深度强化学习的竞争双深度Q网络（D3QN）框架中，提升网络的收敛速度和参数更新效率；并提出一种新的自适应ε-贪婪算法克服深度强化学习过程中探索与利用难以平衡的问题，实现探索效率和稳定性的提高。其次，以最小化路段内车辆总出行时间（TTS）为控制目标，将实时交通数据和上个控制周期内的限速值作为IPD3QN算法的输入，构造奖励函数引导算法输出VSL控制区域内执行的动态限速值。该策略通过基础设施到车辆通信（12V）向CAVs发布限速信息，HDVs则根据VMS上公布的限速值以及周围CAVs的行为变化做出决策。最后，在不同条件下验证IPD3QN-VSL控制策略的有效性，并与无控制情况、反馈式VSL控制和D3QN-VSL控制进行控制效果上的优劣对比。结果表明：在30%渗透率下，所提策略即可发挥显著控制性能，在稳定和波动交通需求情境中均能有效提升瓶颈区域的通行效率，缩小交通拥堵时空范围，与次优的D3QN-VSL控制相比，两种情境中的TTS分别改善了14.46%和10.36%。 |
| 期刊名称： | 交通运输系统工程与信息 |
| 出版年： | 2023 |
| 期： | 03 |
| 页码： | 110-122 |
检索历史
应用推荐
