详情

原文传递基于强化学习的半主动悬架控制算法研究

论文题名：	基于强化学习的半主动悬架控制算法研究
关键词：	半主动悬架;高斯过程;磁流变减振器;强化学习
摘要：	悬架系统除了影响车辆操纵性与安全性之外，对于乘坐舒适性也有很大影响，而车辆遇到的路面类型十分复杂且难以测量，且减振器系统具有很强的非线性，给半主动悬架控制器设计带来了很大困难。本文依托国家自然科学基金重大项目“极限工况下汽车运动一体化协同控制”（课题编号：61790564），主要从舒适性角度，利用强化学习技术解决悬架在未知道路输入下的随机最优控制问题，利用离线仿真学习到的策略用于真实悬架的控制，并根据悬架动行程响应验证控制器的安全性。　　减振器模型一直是连续阻尼可调控制算法设计的基础，由于减振器外特性的强非线性，使减振器模型的建立过程并不容易：一些模型需要确定繁多的参数、进行复杂的相关性分析等。本文尝试利用机器学习技术—高斯过程（GaussianProcess）建立一种数据驱动型的减振器模型，为减振器建模方法提供一种新思路。另外，鉴于一些非连续阻尼控制算法效果受限，本文尝试利用强化学习方法对半主动悬架连续阻尼控制策略进行学习并应用于悬架实验台以对其效果进行验证，为半主动悬架控制贡献出新的方法与参考。此外，半主动悬架的应用对于降低电动汽车轮内电机引起的簧下质量负效应有明显效果，综合以上原因，本文对半主动算法的研究具有重要意义。　　首先，为建立减振器正模型，本文将磁流变减振器外特性于MTS减振器测试台上进行外特性测试，而后引入机器学习技术—高斯过程，将测试数据作为学习样本建立起了数据驱动型的减振器正模型。最后利用模型预测值与减振器数据验证集验证了该模型的准确性。　　其次，建立了减振器逆模型；磁流变减振器逆模型用于计算控制电流，为建立减振器逆模型，本文首先选择了一种解析型减振器正模型，利用外特性数据对模型进行最小二乘拟合以获得模型参数，之后对该模型解析式进行反解获得减振器逆模型。最后通过实验验证了逆模型输出准确性，可用于后续控制过程。　　然后，半主动悬架建模；将高斯过程减振器正模型考虑进四分之一车辆模型，并搭建了包括随机路、凸块路面与正弦路面在内的路面模型作为系统输入，最后建立了悬架“阻尼力约束”的计算规则、悬架性能时域计算与频域分析方法；　　最后，进行了强化学习控制策略的设计、仿真分析与实验验证；建立了以悬架动行程、簧上质量速度与簧下质量速度为反馈变量的线性控制律，设计了强化学习算法对反馈增益进行学习。利用学到的反馈增益进行了系统仿真与时域、频域分析，分析结果表明该算法综合了Cmin算法在低频段与sky-hook算法在高频段的良好表现，取得了在全频段内的优秀综合控制效果。为进行实验验证，首先自主搭建了四分之一台架实验平台，在随机、凸块与正弦路面输入下，进行了强化学习算法（RL）、Cmin、sky-hook算法和被动悬架的实验，并对采集的数据进行处理与分析，实验结果显示在随机路与凸块路面输入下，RL算法在舒适性方面表现优于另外几种算法，在低频与高频段的表现与仿真所得出的结论一致：RL算法全频段综合控制效果优于另外几种算法，控制效果符合预期。
作者：	孙浩杰
专业：	车辆工程
导师：	庄晔
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2022