详情

原文传递车联网大数据实时处理与监控系统的设计与实现

论文题名：	车联网大数据实时处理与监控系统的设计与实现
关键词：	车联网;大数据;Flink;实时处理;监控系统
摘要：	随着信息技术领域的新一轮技术革新，万物互联大背景下的互联网、物联网乃至车联网飞速发展。车联网应用技术和大数据技术相结合，通过对商用车行驶过程中产生的数据进行分析、研究，来全方位获取行驶中的车辆信息，以改善车辆的驾驶体验，提高运输过程中的安全性和运输效率。面对海量的车联网数据和一些场景下的时效性要求，相关系统需要对重要的数据做出实时处理，同时对处理后的数据进行直观的展示。　　传统车辆管理系统严重依赖于关系型数据库。面对海量的车联网数据，系统中的数据库读写压力加剧，延迟增大，影响系统整体性能。另外，传统数据库的存储容量难以进行横向扩展，难以支持海量车联网数据的持久化存储。传统车辆数据系统的处理模式多基于离线数据的批处理，难以满足实时性要求较高的场景。大型车企积累大量车辆相关数据，在传统模式数据存储和计算方式下，无法满足车联网大数据高效存储、实时处理和快速计算等需求。　　本文阐述了车联网大数据实时处理与监控系统应用的研究背景和意义，结合某大型商用车制造商的实际需求，探索车联网大数据实时处理与监控系统所需的原则特性，接着对系统的功能架构、技术架构、网络架构以及技术选型进行了介绍，最终结合总体架构和详细设计实现了基于Flink的车联网大数据实时处理与监控系统。　　系统总体可分为数据跨集群实时同步模块、数据实时处理模块、数据存储模块以及动态数据可视化模块。本系统所要处理的数据分为动态实时数据和静态维度数据，动态实时数据为行驶中的商用车通过数据终端实时发送至车联网平台的Protobuf格式源数据，静态数据为存储至MySQL的车辆维度数据。数据跨集群实时同步模块通过KafkaMirrorMaker和MySQL主从部署将需要处理的数据从车联网平台实时跨集群同步至系统所部署的集群中。数据实时处理模块基于Flink完成流数据的实时解析、维度数据实时关联以及实时统计计算。数据存储模块从解析后的数据选取关键属性，存储至HDFS中。动态数据可视化模块将处理完成的数据通过Grafana在前端进行动态展示，将一些车辆重要指标数据更加直观地实时展现给业务人员，方便业务人员对行驶中的商用车辆进行质量和安全方面的监控。　　本文的主要工作是设计实现了一个车联网大数据实时处理与监控系统。该系统基于流式处理框架Flink，实现了对每天TB级增长的海量车联网数据的高并发实时处理。系统使用了Kafka、Flink、Hadoop、Zookeeper、Elasticsearch等大数据组件构建系统的整体框架，使用关系数据库MySQL存储静态维度数据，同时使用Redis和异步交互来缓解关系数据库因磁盘I/O带来的性能问题。这种技术架构，有效解决了当前车联网大数据处理系统存在海量数据存储空间受限、性能限制无法做到低延迟处理等问题，满足了车联网大数据处理系统对低延迟、高并发的需求。　　经过在集群环境中的测试，车联网大数据实时处理与监控系统达到预期的设计目标。同时在某大型商用车制造厂商的生产集群上进行了部署，实际效果较为满意，提升了车联网大数据的可用性，增强了商用车制造企业对海量车联网数据的分析能力。
作者：	黄开
专业：	计算机技术
导师：	彭朝晖
授予学位：	硕士
授予学位单位：	山东大学
学位年度：	2021