详情

原文传递基于Storm的铁道供电监控信息实时流计算处理研究

论文题名：	基于Storm的铁道供电监控信息实时流计算处理研究
关键词：	铁路调度监控;实时流计算;运行参数;并行滑动窗口;批处理机制
摘要：	随着电网规模和容量的不断扩大，现代工业配电网正逐步迈向能量与信息互动，海量信息处理和智能调度相结合的发展方向。与传统电网不同，智能配电网的调度监控需要以电网全景实时状态数据获取为基础，越来越多的采集点和越来越高的设备状态信息采样率，使聚集设备信息的调度监控系统必须快速处理庞大的数据量。考虑未来网络物联设备、新能源和电动汽车接入设备等的互连互动，更将加剧电网监测在大量状态信息实时处理中的压力，按照IEC61970标准，以运行态实时数据采集与监视控制系统的公共信息模型为例，定义一个母线电压、馈线电流等模拟遥测类对象需50多个属性，一个隔离开关、断路器等状态遥信类对象需40多个属性，由于监测实时数据库多采用常驻计算机内存处理方式，将百万级、千万级，甚至更大量级的过量实时监测数据全部常驻内存，终将超出实时数据服务器的内存容量上限，从而造成常规实时数据库的存取性能和计算能力受限。此时，数据服务器CPU面对大量监控信息的实时访问和交互处理压力，可能会因为通信信道拥塞而产生较大的信息处理延时，影响了调度监控的实时性，因此，亟需开展有关大量实时监测数据快速处理技术的研究。　　结合电力领域的大数据现状，学术界提出引入以批处理模式和流计算模式为主的大数据处理技术用于实现调度监控海量监测数据的分布式存储和高效并行处理。但批处理模式受限于先存储后处理的一般运算流程，因此并不利于大量监测数据的次秒级实时处理，而流计算模式凭借其全内存计算、高可伸缩性、高容错性等优势，有效避免了内存数据库容量的限制，为调度监控中海量化监测数据的快速低延迟处理指明了一种全新的解决思路。　　考虑到铁道供电配电系统的特殊性，其对于调度监控信息流的处理实时性将很大程度影响到铁道供电的可靠性以及交通运输的行车安全。因此，本文结合实际工程应用中海量化实时监控信息的处理要求，构建基于Storm的铁道调度监控流计算实时处理系统，该集成系统以Storm流计算框架作为监测数据的实时处理引擎，以分布式消息系统Metamorphosis作为数据源接入模块，并搭建基于HBase的调度监控分布式存储系统。以铁路调度监控海量监测数据为处理对象，通过开展一系列拓扑实例集群测试，评测初始集成系统的整体计算性能。实验结果表明：流计算实时处理系统能够在获得ms级平均处理延时的同时确保数据处理的准确性；当发生磁盘消息堆积时，系统仍能保持较低的平均处理延时；且系统具备一定的负载均衡能力，可以应对大规模流计算拓扑任务。　　最后，本文还就进一步提升流计算实时处理系统的整体计算性能，提出了配置运行参数和设计并行滑动窗口的优化方法，对比优化前后的测试结果，验证了以上优化方案对于提高流计算并行处理能力，改善系统内存消耗的积极作用。另外，本文还考虑结合实时流计算和批处理机制，为铁路调度监控提供了更加完整和强健的大数据处理方案，即利用开源项目Storm-Yarn，在搭建好的Hadoop2.0资源管理系统YARN上部署Storm流计算框架(Storm-on-Yarn)，并最终通过监测数据拓扑实例的集群测试验证该套结合方案的可行性。
作者：	王冬
专业：	电气工程
导师：	屈志坚
授予学位：	硕士
授予学位单位：	华东交通大学
学位年度：	2016
正文语种：	中文