原文传递
基于HBase的交通数据管理平台设计与实现
| 论文题名： | 基于HBase的交通数据管理平台设计与实现 |
| 关键词： | 交通管理;数据管理平台;软件设计;功能模块 |
| 摘要： | 随着社会经济水平的提高，机动车保有量迅速增长，交通拥堵严重、交通事故增长等问题日益严重，与车辆有关的犯罪行为也逐渐增加。针对这一情况，各地公安及交通管理部门建设了大量的智能采集设备，对车辆的行车轨迹等进行记录，形成了海量的结构化过车记录、图像、视频等数据。这些数据数量巨大、种类丰富，蕴含着巨大的价值，利用好这些数据将产生巨大的社会和经济效益。但是，采集设备的增加和抓拍清晰度的提高使得获取的数据量飞速增长，对数据接入、存储和分析能力带来了很大的考验，传统的单机式的数据接入和存储架构无法满足海量数据接入存储的需求。面对这些挑战和新的需求，我们利用新兴的大数据技术，构建了新一代的交通数据管理平台。 为了解决海量数据接入存储的问题，我们研究了分布式文件系统、NoSQL数据库、磁盘阵列、分布式批处理框架、分布式流处理框架、分布式消息队列等相关技术。在此基础上，我们对用户需求进行了深入分析，设计了以HBase为基础的分布式架构的方案。我们的方案使用分布式文件系统HDFS存储图片、视频等非结构化数据，将结构化数据存到HBase，使用分布式计算框架对存在HBase中的数据进行分析，使用分布式消息队列作为系统消息传递的中间件，很好地解决了海量数据的接入、存储、查询、分析等问题。 遵循软件工程的基本思想，在完成需求分析和上述的总体设计后我们又继续完成了架构和功能的详细设计、软件功能实现和测试，并最终投入到了实际的生产环境中使用。在实现过程中，整个系统采用MVC的软件架构，使用了Java Web的相关技术和相关框架，做到了模块间的低耦合和模块内的高聚合，保证了代码良好的结构和系统功能的稳定性。 |
| 作者： | 宋仁勇 |
| 专业： | 计算机技术 |
| 导师： | 禹晓辉 |
| 授予学位： | 硕士 |
| 授予学位单位： | 山东大学 |
| 学位年度： | 2016 |
| 正文语种： | 中文 |
检索历史
应用推荐
