原文传递
动车组大数据清洗关键技术研究与实现
| 论文题名： | 动车组大数据清洗关键技术研究与实现 |
| 关键词： | 动车组;大数据清洗技术;LOF离群点检测算法;分布式计算框架 |
| 摘要： | 近年来，随着我国高速铁路动车组的大规模投入使用，动车组各种监测数据呈现爆炸式增长。同时，动车组闸片、车轮、转向架等主要部件产生的工作状态数据是动车组故障诊断、寿命预测、知识推理等工作的基础，对整个铁路的信息化发展起着举足轻重的作用。但是，数据质量问题并没有得到应有的重视，观察监测到的动车组数据发现，其中存在着数据不完整、信息冗余、含有非法数据等质量问题，使得基于动车组数据分析的工作产生错误的分析结果，影响了信息服务的质量，因此，对动车组数据进行清洗具有一定的理论和现实意义。 本文主要研究动车组数据中含有非法数据，即离群点的情况。由于传统的清洗算法在处理大数据时性能较差，因此本文引入了Hadoop分布式计算框架，该框架的Map/Reduce编程模型能够与本文的算法完美结合。针对动车组数据量大、维数较多和数据类型多样等特点，提出了基于网格的LOF离群点检测算法。由于数据集中的大部分数据不是离群点，因此对整个数据集进行离群点检测是没有必要的，而基于网格的LOF离群点检测算法能够先删除一部分不包含离群点的数据，即进行网格剪枝，再对剩余的数据集进行离群点检测，大大减小了算法的时间复杂度。本文针对基于网格的LOF离群点检测算法提出了如下改进:首先，针对网格剪枝中网格密度定义的不严谨性，提出了聚类半径的概念，通过这个改进能够避免漏检离群点，大大提高检测精度;其次，针对LOF算法不能与MapReduce编程模型很好结合的情况，提出了网格编号的概念，通过网格编号，把整个数据集划分为若干个被标记的小数据集，使基于MapReduce并行化机制的LOF算法能快速进行数据处理。 通过实验证明，改进的基于网格的LOF离群点检测算法在离群点的检测精度与时间效率上都有所改善。实验同时验证了Hadoop集群对大数据集优越的处理能力。总之，本文的研究成果对动车组大数据清洗的研究提供了一定的参考。 |
| 作者： | 延婉梅 |
| 专业： | 计算机科学与技术 |
| 导师： | 刘峰 |
| 授予学位： | 硕士 |
| 授予学位单位： | 北京交通大学 |
| 学位年度： | 2015 |
| 正文语种： | 中文 |
检索历史
应用推荐
