原文传递
船舶监控系统中海量数据处理技术研究
| 论文题名： | 船舶监控系统中海量数据处理技术研究 |
| 关键词： | 船舶监控系统;海量数据处理技术;Hadoop平台;TPUT查询算法 |
| 摘要： | 目前，船舶监控系统正在向自动化、智能化、数字化方向发展，因此造成监测数据量的大量增加，导致系统处理数据能力下降，系统响应性能急剧降低。而在船舶监控系统中，如何从海量的监测数据中方便、快捷地查询与获取用户所需的监测信息是用户极为关注的问题之一。Hadoop平台是目前应用广泛、操作简单的开源免费云计算开发平台，可利用集群的方式提高大规模数据的处理能力。为此，本文将Hadoop平台引入船舶监控系统实现中，重点对基于Hadoop平台的海量数据处理技术进行研究，论文的主要研究内容如下： （1）给出了基于Hadoop平台的船舶监控系统框架，该框架主要由系统应用层、中间件层和数据存储层组成，其中中间件层是系统的核心层。 （2）提出了一种基于Hadoop平台的分布式查询算法。借鉴分布式查询技术相关概念与结构，在TPUT查询算法的基础上，加入直方图动态划分思想，提出了一种效率更高的ITPUT查询算法，并将其应用到Hadoop平台上。 （3）设计了一种基于Hadoop平台的作业调度算法。针对Hadoop平台上原有作业调度算法的不足，设计了一种新的作业调度算法，该算法从快慢节点的判定、优先级的判定和负载均衡动态调整三方面建立模型。另外与MapReduce计算模型有机结合，能够较好的解决海量数据处理中的数据本地性问题，降低系统消耗。 （4）完成了基于Hadoop平台的船舶监控系统的设计及主要功能开发。重点描述了基于Hadoop平台的ITPUT分布式查询算法和Three-Queue调度算法的实现细节，给出系统主要运行界面。 |
| 作者： | 顾宇 |
| 专业： | 计算机软件与理论 |
| 导师： | 周良 |
| 授予学位： | 硕士 |
| 授予学位单位： | 南京航空航天大学 |
| 学位年度： | 2011 |
| 正文语种： | 中文 |
检索历史
应用推荐
