详情

原文传递基于深度强化学习的电动汽车充放电控制及住宅能量管理策略

论文题名：	基于深度强化学习的电动汽车充放电控制及住宅能量管理策略
关键词：	电动汽车;充放电控制;住宅能量管理策略;深度强化学习
摘要：	为应对气候变化、推动绿色发展，电动汽车（ElectricVehicle，EV）产业在近年来高速发展。尽管拥有巨大的应用潜能，但EV负荷功率大且随机性强，接入住宅配网后会显著提升车网协同环境的复杂度并影响电网的稳定运行。为了推动车网融合发展，有必要对EV充放电进行控制并优化住宅能量管理以降低接入后的不利影响。相比于基于模型驱动的优化算法，基于数据驱动的深度强化学习（DeepReinforcementLearning，DRL）算法不依赖模型，通过自主学习获得控制策略，对随机性因素适应性强，是解决复杂环境下EV充放电控制以及住宅能量管理的有效途径。因此，本文围绕基于DRL算法的EV充放电控制及住宅能量管理策略展开研究，首先对EV接入的影响进行了定量分析，然后研究对象逐步从单个EV、EV集群扩展到包括EV在内的含多类型负荷住宅集群和含光储的多住宅社区能量交易市场，研究内容如下：　　（1）针对EV接入住宅后的影响分析，采用先建模后分析的思路，首先基于马尔科夫链设计了EV连续行驶轨迹生成模型。然后考虑用户充电偏好，充电可用性等因素构建了负荷曲线生成模型。算例首先从住宅户均负荷和变压器聚合负荷的角度定量分析，结果表明EV接入后负荷峰值显著增加，变压器过载运行时间明显加长，EV充放电控制具备必要性。算例进而分析了行驶距离以及车辆类型对EV负荷的影响，结果表明EV的可调度时间和可调度容量较高，充放电控制具备可行性。　　（2）针对单个EV的充放电控制，提出了一种基于DRL算法的控制策略以实现在降低充电成本的同时缓解用户的综合焦虑。首先使用驾驶经验，充电偏好等因素定性描述用户的动态行为，提出了综合焦虑的概念表征用户对续航里程和不确定事件的担忧。然后提拱了相关的数学模型定量分析用户的经验和焦虑。所提算法结合了监督学习与强化学习的优势，并在强化学习阶段采用SAC（SoftActor-critic）算法以提供连续的充放电决策。仿真结果验证了所提算法良好的在线控制性能。　　（3）针对EV集群的协调充放电控制，提出了一种基于多智能体深度强化学习（Multi-agentDeepReinforcementLearning，MADRL）算法的协调控制策略以实现在满足用户能量需求，降低用户充电成本的同时避免配网变压器过载。所提MADRL算法中每个智能体均包含一个集体策略模型估计其他智能体的联合行为和一个独立学习器改善本地控制策略。算法在结构上完全分散，具有良好的扩展性和隐私保护性能。仿真结果表明所提算法能够提供良好的EV集群在线协调控制决策。　　（4）针对含多类型负荷住宅集群的能量管理，提出了一种基于MADRL算法的能量管理策略，以实现住宅内各类电力负荷的实时控制，并在降低变压器过载现象的同时兼顾变压器容量的分配公平性。为解决多类型负荷连续和离散并存的动作空间，所提方法使用高斯分布和伯努利分布共同设计策略网络，实现了多维多类型控制变量的同时输出；面对可时移负荷的奖励滞后问题，引入奖励重塑机制有效提高了训练稳定性。仿真结果表明所提算法能够有效实现住宅集群的在线协调能量管理。　　（5）针对含光伏储能的多住宅社区市场能量交易及管理，提出了一种基于层级式深度强化学习（HierarchyDeepReinforcementLearning，HDRL）算法的能量交易动态定价及实时能量管理策略，以实现在线生成内部交易电价和住宅集群能量管理决策。在所提HDRL算法中，上层动态定价过程收集各个住宅的能耗信息以及外部电力供应商电价计算社区内的能量交易价格。下层能量管理则仅依赖本地观测量以及内部交易电价制定各电力负荷的控制决策。仿真分析表明所提算法能够适应社区中不同住宅的异质性，同时制定内部电价和能量管理决策。
作者：	闫林芳
专业：	电气工程
导师：	文劲宇;陈霞
授予学位：	博士
授予学位单位：	华中科技大学
学位年度：	2022