详情

原文传递基于深度强化学习的FCHEV能量优化分配策略研究

论文题名：	基于深度强化学习的FCHEV能量优化分配策略研究
关键词：	燃料电池混合动力汽车;能量管理策略;深度强化学习;能量源性能退化;等效消耗最小策略;数据驱动
摘要：	燃料电池混合动力汽车（FuelCellHybridElectricVehicle,FCHEV）凭借其零排放、高效率、低噪声等优点被认为是未来交通领域最具有研究前景的新能源车型之一。然而，燃料电池存在着动态响应慢、功率密度低等缺点，单独使用其作为能量源将无法满足车辆的负载需求。在配备有锂电池以及超级电容的燃料电池混合动力汽车当中，超级电容和锂电池共同作为辅助能量源，为车辆提供加速和起动时所需的负载功率，也能回收制动能量，可有效解决上述问题，实现各能量源之间的优势互补。本文以该FCHEV为研究对象，以提高燃料经济性、延长能量源使用寿命、提升整车动力性为优化目标，开展对基于深度强化学习能量管理策略的研究，主要工作如下：　　首先，依据超级电容高功率密度特性，设计功率分层结构，上层能量管理策略采用基于模糊控制的自适应滤波器，分离车辆急加/减速时的峰值功率。下层设计基于深度Q学习与等效消耗最小思想的能量管理框架，采用数据驱动的方式进行离线训练，以减少等效氢耗为目标，优化燃料电池与锂电池的功率分配。引入优先经验回放机制，提升能量管理策略的离线训练效率。　　其次，兼顾燃料电池峰值功率和深度Q学习算法的训练效率问题，设计基于动作剪切的深度Q学习算法，探索峰值功率对燃料电池寿命的影响机理，分析影响深度Q学习能量管理策略学习效率的因素。提出动作剪切算法，通过优化动作空间大小，从而避免不合理动作被探索。在策略训练过程引入需求功率的转移概率矩阵和奖惩函数的归一化机制，提升能量管理策略的离线训练效率与性能。　　然后，针对深度Q学习固有存在的过估计问题，提出基于能量源退化的双深度Q学习能量管理策略，通过使用不同的网络来进行动作选择和动作评估，避免对策略值的过估计，提升能量管理策略的性能。综合燃料电池、锂电池性能退化成本与燃料经济性，构建基于多目标问题的奖惩函数，有效延长燃料电池与锂电池的寿命。采用基于排序机制的优先经验回放与软更新的技术，对离线训练效率进行提升。　　最后，在MATLAB/Simulink以及ADVISOR联合的仿真环境下对所提出能量管理进行仿真及分析，结果表明，所提出的策略有效提高了FCHEV的整车性能。其中，所提出的基于动作剪切的深度Q学习能量管理策略在燃料经济性上与基于Q学习的策略相比提高了14.8%，在典型工况下的燃料经济性达到了基于动态规划策略的89.7%。在WLTP工况下，所提出考虑能量源性能退化的双深度Q学习能量管理策略与未考虑能量源性能退化的策略相比，燃料电池性能退化速率有效降低了36.4%，，锂电池的退化速率减缓了1.95%。
作者：	王浩聪
专业：	控制科学与工程
导师：	宋书中
授予学位：	硕士
授予学位单位：	河南科技大学
学位年度：	2022