原文传递
基于Hadoop的面向海量交通流数据分析与应用
| 论文题名： | 基于Hadoop的面向海量交通流数据分析与应用 |
| 关键词： | 交通流;海量数据;Hadoop平台 |
| 摘要： | 近年来，随着城市机动车保有量的持续增长，交通违章和违法行为越来越多，如多辆车结伴作案、出租车罢工罢运、酒驾等，对城市安全带来了巨大隐患。如何快速识别以上交通行为模式对公安、交警主动预警和事后侦查具有重要意义。此外，针对日益增长的海量交通流数据，传统的处理方法在存储空间和计算效率上已经不能满足用户的应用需求。因此本文重点研究“多车频繁结伴——本文称之为伴随”和“出租车罢工罢运——本文称之为浮动车聚集”两种交通行为模式，并提出了面向交通流时空大数据的伴随模式高效挖掘算法和基于HBase的浮动车聚集模式实时监测算法，然后在此基础上构建基于Hadoop的面向海量交通数据的分析和处理平台。本文在如下方面进行了较为有益的探索： （1）通过对海量卡口过车数据的分析和面向海量交通流数据的伴随车行为模式的研究，首先给出了频繁项集相关概念在伴随车挖掘中的新定义，并在此基础上提出了基于MapReduce的时空大数据频繁项集挖掘算法FSST，实验证明该算法在准确性、执行时间和内存使用等方面优于传统的Apriori和Sequence-Growth算法，最后提出了伴随车的嫌疑度计算方法用于计算伴随车嫌疑大小。 （2）根据浮动车聚集行为模式的特征，定义了浮动车聚集行为模式，同时参考基于网格的聚类算法和HBase的数据模型，提出了基于HBase的全天候全域浮动车聚集实时监测算法，定时执行该算法，在真实的、海量交通数据上的实验证明该算法监测浮动车聚集的有效性。 （3）实现了上述研究内容的基于Hadoop的交通大数据分析平台，主要包括大数据平台、后台应用程序和前台展示。由于平台超强的计算和存储能力，加上良好的扩展性，后续的交通分析都可以集成到该平台上。 |
| 作者： | 方炜 |
| 专业： | 计算机软件与理论 |
| 导师： | 李万清 |
| 授予学位： | 硕士 |
| 授予学位单位： | 杭州电子科技大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
