原文传递
基于云计算分布式技术的海量AIS数据挖掘系统设计与实现
| 论文题名： | 基于云计算分布式技术的海量AIS数据挖掘系统设计与实现 |
| 关键词： | 船舶自动识别系统;云计算;分布式技术;数据挖掘;船舶轨迹;海事监管 |
| 摘要： | 随着海上贸易的蓬勃发展，船舶自动识别系统日渐普及，一方面在各个海事局及其相关系统中沉淀了丰富船舶航行数据，另一方面也对如何高效处理挖掘这些海量的航行数据提出了挑战。而云计算和分布式技术作为一种高效的数据挖掘手段解决方案，正在越来越广泛地应用于各行各业，通过云计算和分布式技术释放的高效强劲的计算资源可以有效的解决海事领域数据挖掘场景下的计算瓶颈。在这样的背景下，本文以船舶航行中的AIS数据为研究对象，采用云计算和分布式技术，结合数据挖掘的方法，设计实现了海量AIS数据挖掘平台，对船舶轨迹进行大数据分析，主要工作包括以下几个方面: (1)基于商用云计算平台和分布式技术平台Hadoop，设计了海量AIS数据挖掘系统技术解决方案和实现框架。开发了分布式AIS数据接收与汇总子系统，并通过分布式日志收集系统Flume对其进行收集，保证信息的实时性和高可用性;建立了HBase分布式键值对数据库，实现海量数据高并发写入和及时查询的需求;实现了基于联机处理能力(OLAP)的分布式数据仓库，用于各种粒度的AIS数据交互式分析。 (2)在云计算分布式环境下，设计并实现了分布式计算的并行DBSCAN算法，采用KD树空间划分算法划分空间数据，用于对海量船舶运行轨迹的挖掘与分析。为了实现对海上交通流态势的实时感知和异常报警，设计了利用Spark流式计算实现对监控水域船舶实时聚类分析的技术方案。 (3)采用舟山海区的历史数据和老铁山水道的实时AIS数据对系统进行实例验证。实验结果表明，在大规模数据的情况下，相较于单机系统，基于云计算和分布式技术可以有效的提升船舶轨迹挖掘的计算效率;采用Spark Streaming计算对船舶轨迹进行分布式实时聚类，可以动态实时地发异常行为的船舶，验证了在海事智能监管领域中的可行性及实用价值。 |
| 作者： | 尚斯年 |
| 专业： | 交通运输工程 |
| 导师： | 杨家轩;孙霄峰 |
| 授予学位： | 硕士 |
| 授予学位单位： | 大连海事大学 |
| 学位年度： | 2017 |
| 正文语种： | 中文 |
检索历史
应用推荐
