详情

原文传递基于深度强化学习的柴油机两级增压匹配及耦合控制

论文题名：	基于深度强化学习的柴油机两级增压匹配及耦合控制
关键词：	汽车柴油机;两级增压;深度强化学习;协同控制;神经网络
摘要：	涡轮增压作为提升发动机动力性、降低排放的重要技术，已经在发动机上广泛使用。普通的单级涡轮增压受限于结构、尺寸等因素，存在涡轮迟滞、工作工况范围较窄等缺点。汽车工程师采用两级增压来改善上述缺点，其中电辅助增压应用较为广泛，电动增压系统可以在低速工况和加速工况进行快速响应，在一定条件下还可以进行能量回收，废气涡轮增压在高速工况下具有较高的经济性，将两者结合可以实现更好的增压效果。两级增压系统存在气动耦合，对两个系统控制也是一个难点。本文首先借鉴协同控制算法对双输入单输出的两级增压系统进行控制，协同控制算法中采用PID控制器，存在调参时间成本高的问题。因此本文采用基于无模型的深度强化学习算法来控制两级增压，深度强化学习通过智能体与环境交互来获取经验，具有自适应自学习的特点。深度强化学习算法需要进行大量数据训练才能得到一个较好的策略，本文采用两个方法来改善这一问题。首先采用并行强化学习来提高收集数据的效率，其次是借鉴迁移学习中的预训练方法，对神经网络进行预训练，降低收敛时的回合数。　　首先，在GT-power搭建一维均值发动机模型，将均值发动机模型与详细模型输出参数作对比，验证均值模型精度能否达到要求。根据发动机参数计算出电动压气机的压比、流量等参数，选择合适电动压气机及电机，进行瞬态和稳态性能分析。　　其次，借鉴阀门位置控制器(Valve Position Controller,VPC)的经验，在Simulink中搭建两级增压控制器，用此控制器对两级增压系统进行协同控制。在Python中搭建并行深度强化学习算法，实现两级增压系统的自适应控制。　　然后，搭建联合仿真平台并进行训练。将GT-power和Python软件通过Simulink连接起来，实现两者数据实时传输。采用FTP-72作为验证工况，协同控制采用的是经典PID控制器，通过联合仿真平台进行训练调参，实现整个工况进气压力跟随控制。并行深度强化学习需要进行多个回合训练，采用一段复杂工况进行调参训练，然后再运用到整个工况。对于并行深度强化学习，分别进行单个智能体和多个智能体仿真训练，对比其累计奖励值收敛情况。借鉴迁移学习中的预训练方法，对并行深度强化学习中的神经网络进行预训练，加快收敛速度。　　最后，对训练结果进行分析。从整体和局部工况，分析协同控制的两级增压进气压力跟随效果，整体跟随较好，在局部工况细节上还存在超调和跟随不足的现象。并行强化学习结果表明，4个智能体相对于单个智能体，收敛时的回合数降低23%。对神经网络进行预训练后，经过预训练的4个智能体收敛时的回合数降低65.45%，单个智能体经过预训练后收敛回合数降低40.97%，说明预训练可以加快收敛。为了验证深度强化学习控制效果，选择工况中900s到945s内进气压力跟随效果与协同控制对比，从结果来看深度强化学习压力跟随效果要优与协同控制，通过绝对误差来量化进气压力跟随效果，通过计算得出，深度强化学习相比于协同控制绝对误差降低47.54%。　　综上所述，本研究采用并行深度强化学习控制两级增压，可以实现动态调参，降低调参工作量。通过并行深度强化学习算法实现两级增压的耦合控制，并采用预训练来加快收敛速度，给传统控制算法调参提供参考，对智能算法运用到发动机控制领域具有一定的参考意义。
作者：	伍朝兵
专业：	车辆工程
导师：	赖晨光;胡博
授予学位：	硕士
授予学位单位：	重庆理工大学
学位年度：	2022