详情

原文传递基于深度强化学习的商用车编队控制方法研究

论文题名：	基于深度强化学习的商用车编队控制方法研究
关键词：	商用车;编队控制;串稳定性;深度强化学习;神经网络
摘要：	随着我国社会经济的不断发展，汽车保有量不断增加，随之带来的燃油消耗、道路拥堵和交通安全等问题也日趋严重。商用车作为目前货物运输的主要途径，截至2021年1月我国商用车货运规模占总货运规模的74.4%，同时载货商用车燃油消耗占总燃油消耗量比例超过50%，且仍有上升趋势。因此如何提高商用车的行驶安全性及燃油经济性具有重要意义。随着通信技术、控制方法和传感等技术的不断发展，先进的商用车编队控制方法被证明对提高车辆行驶安全性、提高燃油经济性和降低排放具有重大的社会经济效益。　　目前在车队控制器的研究中，考虑通信延迟、拓扑结构和串稳定性的条件下，大多数车队控制都是基于MPC和PID等控制方法进行控制。随着深度强化学习的发展，智能体能根据复杂周围环境状态决策出控制量，对于车队系统的控制有很大的益处。同时，在设计商用车队列控制器时，大多数研究人员将车辆视为质点，使用简单的线性运动学模型或3自由度车辆模型为基础模型，对车辆进行建模研究，无法准确地表达车辆系统自身的动力学特性及车队行驶过程中的横纵耦合作用。因此，针对上述问题提出使用强化学习对车队进行编队控制，将车队跟随车看成一个智能体进行训练，将车队内的信息交互看作具有马尔科夫性质的决策过程，使用神经网络作为函数近似器将状态空间映射到动作空间中。并在训练过程中使用六自由度动力学模型对车队单车进行动力学建模，使得车队单车的动力学特性更加真实。本文的主要工作内容如下：　　(1)基于Matlab/Sumo的强化学习框架搭建　　针对强化学习训练环境建模问题，本文选用Sumo作为交通仿真软件，使用Traci4Matlab接口实现了Sumo与Matlab的信息交互，搭建了联合仿真平台。同时，在Simulink环境中使用系统方程将Sumo封装成Simulink功能模块，实现了基于Sumo的强化学习实时训练。最后在Matlab中搭建了包含车队智能体、智能体训练环境、车辆动力学模型和神经网络的强化学习训练框架。　　(2)商用车队列模型搭建　　针对商用车建模问题，本文使用研究室已有的六自由度动力学模型来对商用车进行建模研究，使用TruckSim验证了模型在商用车参数下的有效性,分析了固定求解步长下不同求解方法的求解精度。对五台车组成的同质车队进行研究，确定了采用可变车间距策略和车队内的通信拓扑结构。　　(3)强化学习车队智能体搭建及训练　　通过八组试验对比了不同神经网络结构对车队智能体训练效果的影响，确定了多神经元、少隐藏层的神经网络结构对车队智能体进行训练，并根据大量探索确定了神经网络的训练参数。在连续空间中对车队状态空间和动作空间进行设计，同时根据车队性能要求设计奖惩函数。最后在搭建好的强化学习框架中进行训练，通过不断验证智能体是否具有有效性，确定最终车队跟随车智能体策略。　　(4)深度强化学习控制方法有效性验证　　本文在固定道路曲率的环形道路上对训练好的跟随车智能体进行仿真验证，设置领航车分别以匀速和变速工况进行行驶，观察跟随车在不同速度工况下能否很好地跟随领航车，并实现串稳定性。
作者：	马晓帆
专业：	载运工具运用工程
导师：	施树明
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2022