原文传递
基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究
| 论文题名： | 基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究 |
| 关键词： | 电力大数据;铁道供电;调度监控;数据仓库;无损压缩;分布式存储 |
| 摘要： | 现代电网规模与容量不断扩大，能量流与信息流互动，构成智能调度应用的基础,为了增强调度监控的协调与交互，各式新型智能电子设备不断接入，电力系统监控中监测点数量增多，数据量呈几何形式大规模增长，数据结构既复杂又多样。典型的如某风电场风机SCADA系统一个月产生的数据量约达2490GB，运行一年就将达到20多个TB[1,2]，现有的数据管理系统通常采用传统磁盘阵列来存储与管理数据，相应的数据库管理软件采用关系型数据库处理方案，数据需要集中处理，对单台服务器有较高性能要求，而且数据管理系统的扩展性相对较差、可靠性也不高，虽然能满足一般数据处理应用，但是在应对大规模数据处理方面存在困难，若通过传统关系数据管理系统对海量数据集中式处理计算，已远远满足不了未来智能调度监控海量数据存储、共享、自动化处理要求，大数据集信息的有效存储与计算仍是目前调度监控系统所面临的一个难题。 学术界在电力领域引入云计算，将云计算技术引入调度监控大数据的存储处理，研究调度监控大数据的应对方案。作为目前研究较普遍的Hadoop云框架，突破了传统数据集中存储处理的模式，具有强大的分布式并行处理能力，其所具有的冗余容错、高可靠、高伸缩等突出优势，为调度监控系统海量化大数据的有效存储与计算处理提供了一种新的解决思路。 某些特殊的工业配电系统如铁道供电系统除具有一般配电系统的特点外，还具有其自身特点，其安全性不仅涉及供电安全更涉及行车安全，其智能调度监控对系统可靠性要求高，因此，本文结合工程应用中数据处理实际要求与Hadoop云平台，构建基于Hadoop的铁道供电调度监控系统，并构建基于Hive的调度监控数据仓库和基于HBase的分布式调度监控数据库，以铁道供电调度监控量测大数据作为研究对象，进行数据压缩存储研究。实验表明：RCFile文件格式的查询和压缩性能优于TextFile与SequenceFile，且三种文件格式经Deflate、Gzip、Lzo的压缩查询效率得到提高；验证了HBase良好的实时读写性能；实现了Hive与HBase的信息融合交互；验证了基于云计算的监控系统的数据容错能力。研究结果对调度监控系统处理大数据具有重要的理论和实践价值。 |
| 作者： | 陈阁 |
| 专业： | 交通信息工程及控制 |
| 导师： | 屈志坚 |
| 授予学位： | 硕士 |
| 授予学位单位： | 华东交通大学 |
| 学位年度： | 2015 |
| 正文语种： | 中文 |
检索历史
应用推荐
