原文传递
基于深度强化学习的城市路口智能汽车经济性驾驶策略研究
| 论文题名： | 基于深度强化学习的城市路口智能汽车经济性驾驶策略研究 |
| 关键词： | 智能网联汽车;经济性驾驶;通信技术;交叉路口;深度强化学习 |
| 摘要： | 智能网联汽车可以利用网联通信技术获取的道路交通信息或未来行驶工况的预测，并通过经济性驾驶技术，即合理的运动或速度规划，可以大幅度提高车辆的能量利用率。然而现有经济性驾驶技术在随机动态的城市信号灯控路口行驶时，存在安全风险高、控制算法鲁棒性及实时性不足等问题。因此，本文以智能网联电动汽车作为研究对象，围绕信号灯控路口的经济性驾驶策略，从节能机理出发，分别开展基于深度强化学习与基于策略约束型强化学习的电动汽车经济性驾驶策略研究，以期提高车辆能量效率，实现安全节能高效的驾驶决策。本文主要研究工作如下： 首先，建立包括纵向动力学、轮毂电机、动力电池等在内的四轮独立驱动电动汽车整车动力学模型，构建能耗最小的电动汽车最优控制问题，并通过动态规划方法实现电动汽车能效驾驶策略的优化，研究不同初始与终端条件下电动汽车节能速度的控制规律及能耗的影响机理。 其次，提出基于深度确定性策略梯度（DeepDeterministicPolicyGradient,DDPG）的网联汽车信号灯控路口通行策略。建立信号灯控路口环境模型，构建基于车速引导的智能汽车强化学习框架，设计计及车辆纵向动力学、以能耗最小为目标的强化学习奖励函数，实现典型信号灯控路口智能汽车经济性驾驶策略的训练。典型信号灯控路口的仿真表明，相比于传统“加速-匀速-制动”策略，所提出的DDPG经济性驾驶策略在动态随机驾驶场景下能够提高15％以上的能量效率。 然后，针对信号灯控路口跟车场景，提出基于策略约束型强化学习的电动汽车经济性驾驶方法。研究智能汽车城市交叉口状态安全约束与控制的映射关系，建立基于控制势垒函数的动态安全边界，重构满足控制安全约束的强化学习策略优化问题，探索满足跟车等安全约束的学习型策略迭代方法，实现安全保障型强化学习决策控制策略的高效训练。信号灯控路口的仿真结果表明，相比于传统DDPG方法，所设计的安全保障型经济性驾驶策略能够在保证安全性的同时提高能量效率12.7%。 最后，基于MATLAB/Simulink和虚幻引擎搭建智能网联汽车数字孪生测试平台，其中智能网联汽车为实车，道路交通环境为虚拟系统，并且通过MATLAB/Simulink与ROS开展信号灯控路口的虚实结合测试，实验结果表明所提出的强化学习经济性驾驶策略具有良好的车速跟踪效果与算法泛化性能。 |
| 作者： | 丁昊楠 |
| 专业： | 机械工程;车辆工程 |
| 导师： | 殷国栋;任祖平;董钊志 |
| 授予学位： | 硕士 |
| 授予学位单位： | 东南大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
