原文传递
基于虚拟Hadoop的针对公交大数据架构的设计与实现
| 论文题名： | 基于虚拟Hadoop的针对公交大数据架构的设计与实现 |
| 关键词： | 公共交通;交通管理;信息融合;计算机技术 |
| 摘要： | 本文对虚拟Hadoop的针对公交大数据架构的设计与实现进行了研究。当前正处于一个信息爆炸的时代，海量的信息已经远远超过了人们所能接受的信息量，人们正经受着“信息过载”。大数据技术就是用来帮助人们从这冗杂的信息中整合和提取所需内容的技术。大数据是当前最热门的一个研究领域并且已经在渐渐地改变世界的商业模式。通过大数据技术，公司可以更加领会用户的消费行为以提供更专业的服务。在虚拟主机上部署大数据架构是当前大数据领域的热门研究方向。这个项目是针对公交大数据的一个实现。项目中的原始数据包括来自公交GPS装置的流数据，存储在关系型数据库中的历史数据以及一些系统外的在线服务产生的实时数据。这个项目的第一部分主要设计了一个可扩展的存储架构来存储这些不同来源的数据，并针对之后的数据分析合理的改变了当前的数据结构。项目的第二部分是设计一个合理的数据分析架构，以方便在这些海量的公交数据里面提取有用的信息。当前分析任务主要包括公交准点率分析和实时公交事故监控。公交准点率包括历史统计准点率，实时准点率，公交车准点率和站点准点率。实时公交事故监控包括检测当前道路是否存在交通拥塞，公交车本身是否存在异常行为。另外项目的最后部分就是将这些分析结果以一种优雅和易于理解的方式展示到网页上。项目的存储架构是基于虚拟Hadoop的，编程框架是建立在 Spring框架和Shell脚本基础上的。在数据分析部分使用了 MapReduce，SQL查询和批处理等。数据展示是一个基于 Bootstrap的简单 Java Web应用。总的来说，这个项目包括设计和实现了一个针对公交大数据的可扩展架构，包括数据存储，数据分析和数据可视化等方面。此项目是瑞典爱立信和stg-taTrafiken公交公司的一个合作研究项目。 |
| 作者： | 刘平 |
| 专业： | 软件工程 |
| 导师： | 李东;Kristian Sandahl;Daniel Jakobsson |
| 授予学位： | 硕士 |
| 授予学位单位： | 哈尔滨工业大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
