原文传递
智慧高速海量异构数据处理关键技术研究
| 论文题名： | 智慧高速海量异构数据处理关键技术研究 |
| 关键词： | 高速公路;异构数据;存储结构;二级索引;HBase技术 |
| 摘要： | 高速公路作为经济运输大动脉，承担的运输量与经济和社会需求同步增长。目前高速公路在建设管理、运营管理、养护管理及服务等方面也呈现出一些问题，如体制分散、缺乏统一协调，出现了“信息孤岛”、缺乏对交通信息的综合利用等。随着物联网、云计算、人工智能、自动控制、移动互联网等技术在交通领域中的充分运用，“智慧高速”也应运而生。智慧高速通过充分地“感知”高速公路，实现信息深度融合、数据分析和挖掘，采用准确的模型和控制系统，为管理者和出行者提供协同管理和智慧服务。但在智慧高速建设过程中，“感知”的数据具有种类繁多、数据量大、存储分散等特性，因此数据的有效存储、高效率的数据检索、数据的深度融合是目前智慧高速重点研究内容之一。 本文以某区智慧高速为研究对象，结合当前该区智慧高速的建设情况及数据的特点，以Hadoop大数据平台为基础，对智慧高速数据中心海量异构数据处理的相关关键技术进行研究，主要有以下几方面的研究工作。 (1)分析云计算和Hadoop相关技术，主要包含HDFS分布式文件、MapReduce分布式计算框架和HBase分布式数据库等技术。 (2)在对该区智慧高速建设情况和数据特点分析基础上，构建了智慧高速海量异构数据处理总体架构，实现了海量异构数据处理流程。同时，根据用户的需求，确定了智慧高速海量异构数据处理的相关关键技术，包括数据迁移、数据存储、数据检索技术等。 (3)实现了智慧高速海量异构数据关键技术中的数据存储、数据迁移、数据检索等的研究和方案设计。设计了数据存储结构、关系型数据表与HBase表的映射规则。提出了基于磁盘读写调度的结构化数据迁移和基于Apache VFS的非结构化数据迁移方案。设计了一种基于HBase二级索引的数据检索策略，结合数据缓存层，提高复杂条件的数据检索效率。 (4)在智慧高速海量异构数据处理总体架构上，对智慧高速海量异构数据处理关键技术进行了实验验证。实验结果表明:基于磁盘读写调度器的结构化数据迁移与默认调度器相比，随着数据迁移量的增加，迁移效率明显提升;设计的非结构化数据迁移方案支持多线程并发操作，随着线程的增加，迁移速度越快;改进的数据检索方法的检索效率高于原始HBase的检索效率，同时利用数据缓存，检索效率大大高于直接从已经建立索引的HBase的检索效率。 |
| 作者： | 徐凯 |
| 专业： | 软件工程 |
| 导师： | 王家伟 |
| 授予学位： | 硕士 |
| 授予学位单位： | 重庆交通大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
