原文传递
基于深度强化学习的车联网边缘计算技术研究
| 论文题名： | 基于深度强化学习的车联网边缘计算技术研究 |
| 关键词： | 车联网;边缘计算;深度强化学习;负载均衡 |
| 摘要： | 车联网（InternetofVehicles，IoV）的快速发展使得车载应用层出不穷，其中不乏时延敏感型和计算密集型应用。然而计算资源受限的车辆往往无法满足这些应用的时延要求。将边缘计算技术与车联网结合能够有效解决这个难题。通过边缘计算技术实现车辆任务卸载，并利用路边单元配备的边缘服务器的资源协助车辆处理任务，可有效满足车载应用的时延要求。 现有车辆任务的边缘卸载研究大多考虑静态场景，然而车辆的卸载任务在连续时间范围内是一个随机过程，每个时刻车辆任务的卸载决策会改变IoV的边缘卸载环境，进而对下个时刻的卸载决策造成影响，静态场景中往往没有考虑这些影响。针对这个问题，本文提出了车辆任务基于软件定义网络（SoftwareDefinedNetwork，SDN）的动态边缘卸载模型，由边缘SDN控制器统一调度车辆任务。为求解该模型，本文还提出了一种基于深度确定性策略（DeepDeterministicPolicyGradient，DDPG）的车辆可分任务边缘卸载算法。首先根据卸载模型确定DDPG中状态、动作以及奖赏三要素，然后根据这三个要素将模型求解转为马尔科夫决策过程并通过该过程求解动态卸载环境中车辆任务的卸载策略。仿真结果表明，该算法能够在较短连续时间内很好地适应动态卸载场景并有效提高了车辆任务的时延性能。 由于边缘服务器的共享性，车辆可将任务上传到其通信范围内边缘服务器进行计算。然而，车辆的不均匀分布导致边缘服务器的任务分配不均、计算资源效率较低或者负载过重等问题。现有大多数工作通过远端云或车辆云来解决边缘服务器负载较重的问题，而对于负载较轻的边缘服务器仍然存在计算资源浪费的问题。本文通过边缘服务器的任务转移来解决上述问题。首先，我们设计分区分级的SDN车联网网络架构，总控制器集中管理和调度边缘服务器的任务。然后基于该架构提出了边缘服务器的负载均衡模型，最小化边缘服务器的负载均方差值。接着提出了一个基于深度Q网络（DeepQNetwork，DQN）的边缘服务器负载均衡算法以求解该模型。该算法将多边缘服务器负载决策问题转化为单个服务器依次决策的过程，随后设计奖赏作为每个服务器负载决策的回报机制，并将最小化负载均方差值转化为最大化每个边缘服务器的负载决策的回报（奖赏）的累乘值。仿真结果说明该算法能够显著改善边缘服务器的资源利用率，同时降低任务的处理时延。 |
| 作者： | 袁颖 |
| 专业： | 交通运输工程;交通信息工程及控制 |
| 导师： | 陈晨 |
| 授予学位： | 硕士 |
| 授予学位单位： | 西安电子科技大学 |
| 学位年度： | 2021 |
检索历史
应用推荐
