原文传递
基于深度学习的桥梁结构健康监测数据清洗方法研究
| 论文题名： | 基于深度学习的桥梁结构健康监测数据清洗方法研究 |
| 关键词： | 数据清洗;深度学习;桥梁结构;健康监测;大数据平台 |
| 摘要： | 随着我国经济社会的高速发展，桥梁结构健康监测系统在桥梁运营养护方面的应用逐步受到重视。然而受环境因素和系统故障影响，监测数据频频失真，结构性能分析和预警沦为空谈。本文的主要目标是融合大数据技术和深度学习思想，构建一套标准化、自动化、精确化的桥梁大数据清洗平台，使桥梁结构健康监测系统的数据能够更好的服务于评估和预警分析。本文的主要工作内容和贡献如下： （1）以不同桥梁记录的多源监测样本为基础，制定统一的失真类型划分标准，具体为缺失、跳点、漂移、趋势异常、噪声五类。针对每一类失真，本文给出特征说明及示例，并总结了适用于大数据平台批量化数据处理的判别算法和修复算法。 （2）针对监测数据出现的大面积缺失、渐进式漂移、趋势异常等一般算法难以修复的失真问题，本文引入长短时记忆神经网络（LSTM）概念，分别建立“单点对单点”和“多点对单点”数据关联模型，分析其数据映射效果，验证模型的鲁棒性，并结合广义3σ准则成功建立长期有效的高精度映射模型，实现精准定位修复。 （3）提出基于条件生成式对抗网络（CGAN）建立桥梁监测数据关联模型，并通过实测数据验证该模型的补点效果与样本长度、数据质量、数据源数量之间的关系。研究表明，该模型适用于识别低质量数据间的关联特性并小批量完成修复任务，是一种对LSTM数据关联模型的补充。 （4）研究大数据平台的相关技术，分别采用“HDFS+Spark”和“SparkStreaming+Kafka”的架构方案执行离线数据分析和在线数据分析功能。进一步设计了具体平台架构和相关算法流程，系统内融合了基于统计学的数据清洗算法、LSTM数据关联模型算法和CGAN数据关联模型算法。以多源传感器数据做实验验证，实验结果表明，该算法流程的假阳性率、准确率、灵敏度等指标均符合预期要求。 |
| 作者： | 罗干 |
| 专业： | 土木工程;防灾减灾与防护工程 |
| 导师： | 丁幼亮 |
| 授予学位： | 硕士 |
| 授予学位单位： | 东南大学 |
| 学位年度： | 2021 |
检索历史
应用推荐
