原文传递
基于Spark并行计算框架的高铁走行部振动数据处理方法研究
| 论文题名： | 基于Spark并行计算框架的高铁走行部振动数据处理方法研究 |
| 关键词： | 高铁列车;振动信号;特征提取;分类识别;故障诊断;并行计算框架 |
| 摘要： | 高铁的安全问题越来越受到人们关注，通过安装在高铁上的传感器可以采集到列车运行过程中的振动信号。分析和处理采集到的振动信号，可以对列车运行过程中出现的故障进行诊断。为了保证列车的运行安全，在列车上安装的传感器越来越多。这些传感器可以采集列车运行过程中大量的振动数据。如何快速地在这样大量的振动数据中进行特征提取和分类识别成为了一个亟待解决的难题。 Spark作为基于分布式内存计算的大数据处理框架，它具有独特优势。它既可以从HDFS上读取文件也可以从本地文件系统读取文件。它借助类似于MapReduce的编程思想进行编程。它利用分而治之的思想，将任务划分到不同的Worker上进行执行，最后将执行结果汇总到Master上。经验模态分解(EMD)适用于将非线性非平稳的信号分解为若干个固有模态函数之和，它在信号分析和处理领域起着至关重要的作用。集合经验模态分解(EEMD)是对EMD的改进，它在原始分解信号中加入高斯白噪声，可以消除EMD在分解过程中出现的模态混叠线性。 本文借助大数据处理框架Spark基于分布式的内存运算、弹性式分布式数据集等特点，提出了基于Spark的并行化EEMD算法、并行化能量矩的构建和并行KNN分类算法，并利用实际数据进行算法评测，首先通过与单机上的EEMD分解结果进行对比以验证并行化EEMD算法的正确性，然后Speedup、Sizeup、Scaleup三个指标对实验结果进行分析，得到并行化EEMD分解、并行能量矩的构建和并行化KNN分类算法在三个指标上都有良好的效果，表明基于Spark的高铁振动数据并行化EEMD分解、并行化能量矩构建和KNN分类可以提高高铁振动数据的处理效率，为大量的高铁振动数据分析和处理提供可靠的解决方案。 |
| 作者： | 李明 |
| 专业： | 软件工程 |
| 导师： | 李天瑞 |
| 授予学位： | 硕士 |
| 授予学位单位： | 西南交通大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
