详情

原文传递铁路LTE通信大数据分析系统的设计与实现

论文题名：	铁路LTE通信大数据分析系统的设计与实现
关键词：	铁路通信系统;LTE网络;路测检查;大数据技术
摘要：	本文研究利用大数据技术对铁路LTE(长期演进)通信网络进行优化。朔黄铁路是中国“西煤东运”的第二大通道，对中国经济的发展有着重大的贡献。为了满足日益增长的铁路运输需求，公司决定通过增加容量以及安排更多的车次来提升铁路的运输能力。随着车次和列车容量的增长，如何保证铁路运输的正常运行成为了大势所趋。实践证明，采用LTE作为铁路通信系统，是一种有效的解决方案。但是由于在中国国内乃至全世界，LTE在铁路中的应用尚属首例，不可避免地会遇到很多问题。所以定期对铁路LTE网络进行路测检查，并根据检查结果进行网络优化，成为保障LTE通信网络正常运转的重要手段　　网优路测工作所产生的数据量十分巨大，现有的计算机系统难以满足如此大量数据的存储、分析和处理。所以大部分数据的处理仍然需要由人工来完成，不仅处理效率低下，结果的准确性也往往难以保证。　　随着大数据技术以及计算机硬件水平的不断提高，近几年来，大数据技术在各个行业的应用已经证明了，当前的大数据技术有能力对海量数据进行处理，为企业的生产和管理提供助力。　　本论文的主要工作是研究并实现了一个以大数据技术为理论基础，利用Cloudera大数据平台提供大数据相关的工具和服务;分析实际工作场景中亟待解决的主要问题，开发出一个高效、便捷具有较强可扩展能力的Web可视化系统。在功能设计方面，本系统主要能够对朔黄铁路LTE网络，网优路测过程中产生的数据进行高效地存储、处理和分析;能够对LTE网络中经常出现的几类通信故障（乒乓切换、弱覆盖、越区覆盖）进行筛查;对能够反映LTE网络信号状况的相关KPI(关键绩效指标)指数进行提取和展示;将通信故障情况以及相关KPI指数在地理信息系统上展示出来，使得用户能够将展示出的LTE网络状况与周边的地理信息联系起来，为故障的排查提供便利。具体来说，本文所进行的主要工作如下: 　　在大多数分析系统中数据ETL是最为耗时的一个过程，几乎能够占到80％的时间。朔黄公司网优路测的原始数据大多以XLS文件的形式存储，但本文采用的数据实时交互技术采用的是在数据查询效率上具有明显优势的Cloudera Impala，为了使用Impala需要将XLS文件转化为CSV文件;在原始数据中还存在着大量的NULL值以及空字符串等无效数据，在将原始数据上传到HDFS之前，应当对这些数据进行清洗。数据ETL是数据分析及处理的前提，本文实现了这个过程。　　根据现场调研，本文选取了三种常见的通信故障——弱覆盖、越区覆盖、乒乓切换，三种衡量通信状况的关键指标——RSRP、RSRQ、SINR进行分析和展示。分析了这三种通信故障的成因，并对其进行数据建模，使得系统能够从原始数据中排查出这些故障;通过应用天地图API、Echart等第三方组件，一方面将通信故障以及相关关键指标与地理信息系统结合起来，另一方面能够将故障发生时的指标变化情况以直方图或者散点图的形式进行抽象化展示。通过以上工作，使本系统能够快速检测出数据中的通信故障，并且能够直观形象地显示铁路沿线的通信情况。　　分析了系统的架构和开发环境，具体描述了，后台大数据服务以及Web用户界面的设计目标，在此基础上对系统进行了实现。建立实验环境，对系统进行了部署，并通过实际数据进行验证，验证结果表明，本系统能够有效地筛选出故障数据以及相关关键技术指标，并能够对保证结果的正确性。　　本文分析了朔黄铁路网优路测过程中存在的主要问题，研究了Cloudera大数据平台、天地图等大数据和地理信息组件，在此基础上实现了一个基于天地图以及Cloudera大数据平台的通讯运维大数据分析系统。实际应用表明，该系统能够直观、形象地展示出铁路沿线通信网络的整体情况，并能对常见的通信故障进行排查，大大提升了朔黄铁路公司通信运维的效率，具有较高的实用价值。
作者：	Khalilullah Kaka
专业：	Computer Technology
导师：	Zhang Jie
授予学位：	硕士
授予学位单位：	北京交通大学
学位年度：	2017
正文语种：	中文