详情

原文传递基于Hadoop的车流信息管理系统的设计与实现

论文题名：	基于Hadoop的车流信息管理系统的设计与实现
关键词：	公安管理系统;车流信息;Hadoop平台;开源技术;B/S架构;功能模块
摘要：	近年来,随着人们经济生活水平的不断提高,机动车已经逐渐走进大众家庭,成为重要交通工具之一。车辆在给人们带来方便的同时也逐渐被犯罪分子所利用,成为实施绑架、抢劫等暴力犯罪活动的工具。因此,在特定案件的侦办过程中,车流信息已经成为侦查破案工作的重要依据。据交警部门统计,随着公安信息化建设的不断推进,车流信息采集点将逐步覆盖主要城区的主要道路口,车流数据的增长将由原有的TB级增长为PB级。　　原有的交警车流管理系统的架构模式采用的是C/S模式,系统扩展性较差,不能很好的满足异地办案工作的要求;原有系统只能简单存储结构化的数据,对于车辆外观图片、音视频等非结构化数据无法进行存储;原有系统存储容量有限,无法满足快速增长的车流数据存储的应用要求;原有系统建设初衷是服务于交警车流管理工作,对特定车辆信息无法在地图上开展定位查询工作,造成侦查部门办案思路难以在系统上形象直观地展现。因此,车流信息管理系统的建设对公安系统办案人员意义重大。　　针对上述问题,本文首先对原有系统在实战应用中所存在的问题进行深入分析,通过研究云计算开源平台Hadoop及相关开源技术,设计并实现了一种基于Hadoop的车流信息管理系统。该系统采用B/S架构替代原有的C/S架构,采用Hadoop作为底层的数据库引擎,同时以Hbase作为Key/Value键值来保存非结构化数据,使用Hive数据仓库工具对车流结构化数据进行数据加载和数据访问。为使用户能够在地图上快速获取数据源,本文对数据存储层的分布式内存缓存技术 Memcache进行研究设计,在实时获取数据后,本文详细地阐述了电子地图轨迹跟踪的设计与实现过程。最后,本文展现了系统部分功能模块的运行效果,并通过功能测试及性能测试验证系统的稳定性和扩展性。　　本论文的研究工作主要有以下几个方面: 　　(1)车流信息管理系统的功能主要包括实时定位查询、历史查询、条件预警。由于办案人员经常需要在不同地方进行协同作战,具有跨地域性、实时性的办案特点。本文提出了一种基于B/S的车流信息管理系统架构,针对海量车流数据的发展趋势,设计和实现了以Hadoop作为底层的数据库引擎,以Hbase作为Key/Value键值对非结构化数据进行存储,以Hive数据仓库工具来对车流信息的结构化数据进行数据加载和数据访问,有效地解决了原有基于C/S架构系统的运行效率和存储容量问题。　　(2)系统采用基于Flex+Java的富客户端技术进行三层架构的分析与设计。每层各司其职,表示层负责业务的发起与数据展现,服务层负责业务的逻辑运算处理,数据存储层负责数据的加载、访问和管理。基于这种分层模式,用户可以得到更好的体验效果,直观的数据展现、流畅的操作、合理的业务逻辑、高效的存储性能,可以极大的提升侦查办案人员进行异地、实时应用操作的效率。　　(3)车流信息管理系统需要对海量的车流数据进行分类处理与访问,由于车流数据存在结构化与非结构化的数据类型,传统型的关系数据库的二维逻辑列表无法存储非结构化数据,且原有系统数据搜索速度跟不上业务应用的发展要求,本文提出了一种基于范围和hash的数据分片的节点间索引策略,针对非结构化的数据存储,主要通过Hbase配置优化、表的分区分割以及Key的设计三种方式完成非结构化数据的处理。通过这样的设计与优化,可以提高数据搜索的精确率,大大降低系统的I/O损耗。　　(4)车流信息管理系统需要实现特定车辆的地图实时轨迹跟踪,同时需要满足至少100个用户可以同时使用该功能,本文在系统的表现层通过实现一个消息队列,客户端Flex地图通过BlazeDS以每2秒/次的频率来访问服务端的消息队列,地图引擎实现基于经纬度的点阵展现最新的位置信息。用户可以较为直观的查看特定车辆的实时位置信息。
作者：	姜铁墩
专业：	软件工程
导师：	饶若楠;苏会明
授予学位：	硕士
授予学位单位：	上海交通大学
学位年度：	2012
正文语种：	中文