原文传递
基于组态组件的铁道电力监控信息HBase云存储研究
| 论文题名： | 基于组态组件的铁道电力监控信息HBase云存储研究 |
| 关键词： | 铁路供电监控;电力大数据;HBase云存储;并行处理;组态软件 |
| 摘要： | 目前，随着电网规模的逐渐扩大和走向智能化，各种智能电表、传感器、物联网系统等智能设备将应用于电力监控系统中，电力监测的数据量极大且以几何形式大规模增长，达到TB甚至PB量级。仅以录波数据为例，针对目前的主流故障录波器的结构和所采用的录波技术，则故障录波瞬时数据采集量为2.008MB/s，每7日采集的数据量为1185.978G，每一年采集的数据量就为432.882TB。作为保障电力系统正常运行的重要支撑，电力大数据存储的安全性和处理的高效性显的至关重要。现有的供电监控系统采用磁盘阵列作为硬件设备进行数据的存储，采用关系型数据库系统进行数据库管理，采用套装软件应用于紧密耦合类业务，致使数据库管理系统的扩展性差、存储能力有限及分析速度慢，难以适应供电监控系统对状态监测数据可靠性和实时性的更高的要求。 学术界在电力SCADA领域引入云计算，将云计算技术应用于铁路供电监控大数据的存储管理，研究供电监控大数据的应对方案。Hadoop云计算的分布式文件系统支持负载均衡策略，具有可伸缩性，从而增强了整个供电监控系统的业务承载能力。使用架构在Hadoop云计算平台上的HBase数据库存储系统对监控大数据进行管理，采用并行处理、分布式运算的方式，可以实现强大的海量数据存储和计算功能，具有高容错和高可靠性，突破了大数据传统存储方式下分析计算存在的瓶颈和容灾问题，为供电监控系统海量数据安全、高效的存储和管理提供了一种新的解决思路。 针对铁路供电监控系统关系型数据库存储的特点，结合Hadoop集群和HBase存储技术以及实际软硬件实力，本文实现了一种基于HBase数据库的铁路供电监控系统海量数据的存储方式。首先，利用力控（ForceControl）组态软件开发10kV供电网监控系统，实现对设备运行情况的实时监督与控制；然后，将监控系统采集的数据经一次转存至MySQL关系型数据库中；最后，通过Sqoop技术将转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中，进行监控数据的云存储研究。实验表明：可以进行铁道供电监控系统的HBase云存储，实现了数据从关系型数据库转存至非关系型数据库，在数据存储方面比传统的关系型数据库存储方式有更多的优势，并且数据量越大，存储效率更高且读取速度更快，HBase的优势越能体现出来。研究结果对铁路供电监控系统大数据的处理具有重要的理论和实践价值。 |
| 作者： | 李立帆 |
| 专业： | 交通运输工程 |
| 导师： | 屈志坚 |
| 授予学位： | 硕士 |
| 授予学位单位： | 华东交通大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
