原文传递
基于列式存储的铁道供电监控信息快速查询与压缩处理研究
| 论文题名： | 基于列式存储的铁道供电监控信息快速查询与压缩处理研究 |
| 关键词： | 铁道供电监控;列式存储;HBase云集群;信息快速查询;索引优化 |
| 摘要： | 随着近年来我国电气化铁路尤其是高速铁路的快速发展，铁道供电系统的自动化、智能化水平大幅提高，保障铁道供电系统稳定运行的调度监控系统也在进行综合自动化升级改造，使得供电监控系统容量及规模不断扩大，并需要大大增加供电监控系统采集终端的数量。而且高速动车组的发车频率增加、运行速度更快，对高速列车牵引动力设备的监控要求更加严格，同时供电监控系统的采样频率进一步提高，使得监控信息量爆炸式增长。仅以当前主流故障录波器为例，故障录波瞬时数据采集量为2.008MB/s，若取2MB/s进行计算，每周将采集1181.25G数据，每年将达到约60.15TB的数据量。更何况铁道供电调度监控系统有大量的信息采集设备，且服役期很长。 面对不断增长的大数据集监控信息，现有的监控信息处理模式主要采用基于磁盘阵列的硬件设备，利用传统的关系型数据库进行管理，存在着存储能力差、难以扩展、处理效率低等问题。若不能有效处理大集监控信息，将可能引起调度监控信息的交互困难、通信拥塞，若出现关键故障监控信息迟报、漏报或误报，甚至会导致调度失误而引发事故。由于传统的以行式存储为主的关系型数据管理技术处理大集信息的瓶颈，学术界对基于列式存储的数据处理技术开展研究，并且在理论上及各个应用领域验证了列式处理的压缩性能和查询效率，特别是HBase列式云集群处理模式在一些关键领域已得到重要应用。因此，本文针对铁道供电调度监控系统海量监控信息的高效处理，重点研究基于HBase列式云集群的查询、压缩及优化处理技术，并基于Brighthouse列存储引擎实现监控信息的大比率压缩。 本文在理论研究基础上，以工程数据为算例，首先为解决监控信息集成引起的监控系统兼容性问题，通过设计模式实现监控系统的一体化。然后成功构建基于HBase云集群的供电调度监控信息处理平台，并将Phoenix查询引擎集成到HBase集群实现并行查询，考虑索引的优化性能，实现基于协处理器的二级索引，经分析、对比实验确定监控信息的索引优化方式并实现监控信息的快速查询。将无损压缩融入HBase云集群，进行监控信息集群压缩处理研究与实验，并进一步提出压缩+二级索引的处理模式，验证了该方案对监控信息存取的优化效果。实现基于Brighthouse列存储引擎的监控信息大比率压缩存储模型，通过工程算例数据验证了其处理性能。研究结果为铁道供电监控大数据集信息的高效压缩及快速查询处理提供新的解决方案。 |
| 作者： | 徐振清 |
| 专业： | 交通运输工程 |
| 导师： | 屈志坚 |
| 授予学位： | 硕士 |
| 授予学位单位： | 华东交通大学 |
| 学位年度： | 2017 |
| 正文语种： | 中文 |
检索历史
应用推荐
