原文传递
基于强化学习的自动驾驶车辆模型预测控制算法研究
| 论文题名： | 基于强化学习的自动驾驶车辆模型预测控制算法研究 |
| 关键词： | 自动驾驶车辆;模型预测;控制算法;轨迹跟踪控制 |
| 摘要： | 自动驾驶车辆的模型预测控制（ModelPredictiveControl，MPC）算法广泛应用在自动驾驶车辆的控制领域。但是MPC固定的误差权重矩阵并不能适应行驶条件的变化，从而会产生控制误差，降低控制精度。为此，本文以小型商用车为研究对象，进行了基于强化学习的MPC算法的研究。 首先，本文基于不平坦的行驶道路，建立考虑垂直载荷的车辆动力学模型，并且建立魔术公式轮胎模型求解轮胎横纵向力值。基于离散线性化的车辆模型，本文设计了线性时变MPC控制算法，并阐述了控制问题求解过程。 随后，针对固定误差权重参数，本文设计了基于价值函数的Q学习方法对其进行学习训练。在Matlab/Simulink-Carsim的联合仿真平台上进行了基于MPC算法以及Q学习训练后的MPC算法对车辆轨迹跟踪控制的多工况仿真实验。结果表明，在崎岖道路上车辆以60km/h速度进行轨迹跟踪时，前者的横向误差为0.32m，后者的横向误差则为0.12m；同时误差评价总指标显示，后者对行驶环境的鲁棒性要优于前者。 针对采用基于价值函数的强化学习方法解决连续空间控制问题存在的不足，本文采用基于策略的方法设计深度确定性策略梯度（DeepDeterministicPolicyGradient，DDPG）算法学习MPC参数，并且基于仿真平台完成了仿真实验。仿真结果显示，较基于Q学习的MPC算法，DDPG方法训练后的MPC算法对车辆控制的横向误差小于0.10m，控制精度提升17%，在时速60km时对崎岖道路的鲁棒性提升37%，单回合训练时间减少80%。 最后，本文进行了实车实验。结果表明，最大横向误差小于0.13m，控制计算耗时小于0.01s。因此，基于强化学习的MPC控制算法对车辆轨迹跟踪的性能有较大提升，同时能够满足实时性要求。 |
| 作者： | 许荆宇 |
| 专业： | 测试计量技术及仪器 |
| 导师： | 朱欣华;苏岩 |
| 授予学位： | 硕士 |
| 授予学位单位： | 南京理工大学 |
| 学位年度： | 2021 |
检索历史
应用推荐
