详情

原文传递基于强化学习的隧道场景下高铁物联网感知数据传输研究

论文题名：	基于强化学习的隧道场景下高铁物联网感知数据传输研究
关键词：	高铁物联网;感知数据传输;强化学习;隧道场景
摘要：	作为最具可持续性的交通运输模式，高速铁路（HSR, High-Speed Railway）已成为国民经济大动脉和大众化交通工具，是国家关键基础设施和重要基础产业。同时，由于信息技术突飞猛进，智能化技术取得突破性进展，人类社会在经历了工业化、信息化之后必将迈进智能化时代。随着基础设施和新兴技术的快速发展，智能化已成为高铁未来发展不可避免的趋势，高速铁路需采用云计算（Cloud Computing）、物联网（IoT, Internet of Things）、人工智能（AI, Artificial Intelligence）、大数据（Big Data）等先进科技技术，通过持续性技术创新，提高高速铁路现代化、智能化水平，促进高速铁路向智慧铁路转型升级。　　智能高铁在高速移动的基础特性上，还需具有高效的安全保障能力、强大信息管理平台和提供舒适的用户服务。智能高铁需结合多项先进科技技术和第五代（5G,5th Generation）列车移动通信技术来实现上述特性。其中，高铁运行的安全性是重中之重，为了确保高铁运行的可靠安全，智能高铁通过物联网技术来对高铁系统中不同的设施和设备、高铁列车运行状态和周围环境进行实时监视，实现对紧急情况的及时发现和有效处理，以达到提高运行安全性的目的。高铁物联网通过感知技术、识别技术、定位技术、网络和计算技术、数据处理技术和智能决策技术实现对高铁列车运行状态的综合感知。其中，感知技术通过部署大量无线传感器设备构建无线感知网络（WSN,Wireless Sensor Network），对车内外温度、湿度和设备磨损程度等信息进行感知，通过有线与无线结合的通信方式将数据可靠有效传输至智能控制中心，实现对列车的监测、调度和控制等。　　然而，一方面由于高架桥、开阔区域、城区、隧道、U型槽等运行场景复杂，导致无线信道特性差异性较大。特别是隧道场景下，由于其信道特性复杂特殊性，因此无线信号传播机制较为特殊。另一方面，列车运行内部环境也较为复杂，行人移动、遮挡物过多等问题也致使感知数据传输信道时刻变化。现今针对感知网络传输的研究大多局限于网络的吞吐量性能而忽略了信息的时效性，未将整体传输时间作为主要优化目标。因此，如何设计合理的传输策略，最小化列车感知数据整体传输时间，是提升高铁列车运行安全性的研究重点。　　针对上述问题，本文展开隧道内高铁物联网感知数据传输时间最小化研究，将单一车厢设为单网络，利用车厢所设接入节点（AP,Access Point）用来转发车厢内部感知数据至远端基站，基于强化学习算法以整体传输时间最小化为目的进行算法构建与优化。其次，针对多网络场景即多车厢场景，利用多智能体强化学习(Multi-Agent Deep Reinforcement Learning)算法，设计基于协作的神经网络模型，引入其余车厢状态作为变量，提高算法性能，近一步减少传输时间。本文的主要贡献可归纳如下：　　一、针对高铁物联网感知数据时效性问题，设计单节车厢即单网络隧道内传输系统模型，结合无线能量传输技术实现下行能量传输、控制指令传输、上行数据回传与越区切换等基本任务，通过接入节点进行感知数据的远端传输至隧道内基带处理单元，利用强化学习算法研究感知数据传输策略。　　二、针对多节车厢场景，利用马尔可夫决策过程设计多智能体强化学习算法，构建其状态空间、动作空间、奖励函数与损失函数。引入邻接车厢区域机制，即该区域感知信息可被相邻两车厢任一接入节点传输，设计基于协作的神经网络模型，引入邻接车厢观测状态，进一步提高算法性能。　　三、针对上述传输策略，通过理论推导，结合深度Q网络算法（DQN, Deep Q Network）、多智能体强化学习算法，基于Python进行仿真与对比实验，通过仿真结果验证了所提系统与算法的稳定性与有效性，得出最优传输策略。　　上述研究内容为提高高铁运行安全性，降低智能高铁物联网感知信息传输时间提供了新的思路与方法，同时为未来智能高铁与下一代移动通信技术结合的性能优化策略进行了探索。创新的内容是基于现有研究基础进行扩展，对未来场景进行探索，为后续的研究奠定了基础。
作者：	刘坦炟
专业：	信息与通信工程
导师：	胡封晔
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2023