详情

原文传递基于SAC深度强化学习算法的插电式混合动力汽车能量管理策略

论文题名：	基于SAC深度强化学习算法的插电式混合动力汽车能量管理策略
关键词：	插电式混合动力汽车;能量管理;深度学习;强化学习;云端大数据;自动熵调节
摘要：	随着全球范围内环境污染问题日益严峻，发展节能环保的新能源汽车成为汽车产业发展的主要方向。其中，插电式混合动力汽车(Plug.in Hybrid Electric Vehicle，PHEV)融合了纯电动汽车低排放以及传统内燃机汽车长续驶里程的优势，成为我国新能源汽车“三纵三横”研发布局中的重要发展方向之一。能量管理策略作为PHEV关键技术之一，其通过在发动机和电动机之间优化分配功率流，从而实现整车高效运行。然而，由于车辆行驶工况复杂多变，如何解决能耗最优与工况适应性之间的矛盾对于混合动力汽车能量管理策略仍是一个颇具挑战性的问题。为此，本文设计了基于长短时记忆网络(Long Short-Term Memory，LSTM)的车辆需求转矩预测模型，提出了基于自动熵调节Soit Actor-Critic(SAC)深度强化学习的能量管理策略，进一步借助云车协同框架提出基于云端的深度强化学习能量管理策略。本文具体工作如下: 　　1.本文首先针对单轴并联插电式混合动力汽车搭建包括发动机、动力电池、电动机以及车辆纵向动力学方程在内的整车动力系统模型，并基于AVLCRUISE仿真平台开展车辆动力性能验证。　　2.针对车辆需求转矩预测问题，设计了基于LSTM的车辆需求转矩预测模型，并与传统基于BP(Back Propagation，BP)神经网络模型的预测性能进行了对比分析。结果表明，基于LSTM的需求转矩预测模型预测准确度提升86.63％。在此基础上，为保证车辆的安全性研究了基于LSTM神经网络的需求转矩双预测模型，需求转矩预测精度进一步提升44.04％。　　3.提出了一种基于自动熵调节SAC深度强化学习算法的PHEV能量管理策略。具体的，选取电池荷电状态(State Of Charge，soc)、需求转矩、加速度、车速、档位信息作为策略的状态，以提高燃油经济性以及避免电池组过度放电为目标，将发动机转矩作为输出，通过引入自动熵调节机制，有效提升了该策略对不同工况的适应性。为进一步验证所提方法的优越性，分别与基于深度确定性策略梯度算法(DeepDeterministic Strategy Gradient，DDPG)、基于固定熵的SAC算法以及等效燃油消耗最小能量管理策略(Equivalent Consumption Minimum Strategies，ECMS)进行对比，结果表明，基于自动熵调节的SAC能量管理策略具备超参数敏感性低、自适应性强等性能，与等效燃油消耗最小能量管理策略相比燃油经济性提高4.37％，同时对电池SOC具有良好的控制效果。　　4.借助云计算性能并考虑发动机特性提出基于云端、车端融合架构的深度强化学习能量管理策略。在借助滑动窗口原理减少云端数据上传量、降低发动机启停频率以山东大学硕士学位论文及相邻时刻转矩变化量的基础上，基于专家经验知识实现了发动机工作点在高效区的合理分布，并在真实工况下进行仿真验证。结果表明，所提方法可以有效实现云车交互，并实现降低发动机的启停频率的优化目标。
作者：	李涛
专业：	控制工程
导师：	崔纳新
授予学位：	硕士
授予学位单位：	山东大学
学位年度：	2022