原文传递
基于航海大数据的航道拥堵状态识别研究
| 论文题名： | 基于航海大数据的航道拥堵状态识别研究 |
| 关键词： | 海运航线;航运管理;拥堵控制;计算机技术 |
| 摘要： | 大数据的研究一直是当前和未来的发展方向。大数据技术的出现，立刻引起了航海业的注意，希望借助大数据技术解决航海信息挖掘方面存在的问题，更好的掌握和运用航海数据资源。本课题正是在这样的研究背景下应运而生。本文在透彻理解航海大数据内涵的基础上，深入地分析航道拥堵问题，探索应用航海大数据解决航道拥堵识别问题，提出了一种Spark-DBSCAN的航道拥堵识别方法。并通过实验验证了应用该方法处理航道拥堵识别的可行性和有效性。 本文首先给出航海大数据的定义，论证为什么航海数据能称为大数据，并详细陈述航海大数据的构成、特点及面临的问题，介绍航海大数据的应用现状及大数据计算平台Spark。描述航道拥堵问题并给出了该问题的国内外研究现状。分析了运用航海大数据中的AIS数据进行聚类来识别拥堵航段的可行性。其次，概述现有的基本聚类算法，针对大数据的特点，提出适用于扩展到大数据应用领域的聚类算法的要求和标准。对应提出的标准，对比分析所列举的聚类算法，并结合课题的应用背景综合考虑，最终选择DBSCAN算法。再次，阐述DBSCAN算法的基本原理，具体分析了DBSCAN算法的特点以及将其用到航海大数据聚类所需要改进的地方及改进方案。设计了基于Spark框架的DBSCAN并行算法(Spark-DBSCAN)，逐一分析该算法数据分区、局部DBSCAN、重新标识聚类结果等方面问题，并给出了算法的具体操作流程。最后，搭建Spark集群的实验环境，通过在几组常用的聚类数据集上，与传统DBSCAN算法的聚类结果进行对比，说明本文所设计的Spark-DBSCAN算法在保证聚类质量的同时，大幅度得提高了DBSCAN算法的聚类速度，验证了Spark-DBSCAN算法的并发性和正确性。将Spark-DBSCAN算法应用到实际的航道拥堵的问题分析中，取得了较好的实验结果。实验验证了本文所设计的Spark-DBSCAN方法，可以有效地进行大数据聚类，识别拥堵航道。 |
| 作者： | 张靖靖 |
| 专业： | 控制科学与工程 |
| 导师： | 赵玉新 |
| 授予学位： | 硕士 |
| 授予学位单位： | 哈尔滨工程大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
