详情

原文传递路口多相机多维立体监控系统研究

论文题名：	路口多相机多维立体监控系统研究
关键词：	交通管理;立体监控系统;相机空间对齐;位姿标定;虚实融合;图像渲染
摘要：	随着智慧城市的建设和雪亮工程的推进，多相机视频监控系统被广泛应用在道路交通管理、公共安全保障、基础设施建设、应急事件指挥等领域中。特别地，对于部署在路口的多相机系统，在其成像传感器数量不断增加的同时，监控拓扑结构也呈现多样化发展。为了充分利用这些相机采集的海量分散视觉信息，研究多维立体的视频监控方法，打破相机间的信息孤岛，实现互联互通逐渐成为未来相关领域的发展趋势之一。本文研究的多相机多维立体监控方法在相机空间标定、虚拟现实、跨相机分析等方面具有重要的理论研究意义和应用价值。　　本文详细介绍了多相机视频监控系统中相关技术的研究现状，深入分析了多相机视觉数据之间的联系，重点研究了多路监控数据整合、多相机空间标定、视频虚实融合和渲染这三个关键问题，实现了基于时空特征图的高点辅助多相机空间对齐方法、基于SFM的多相机位姿标定方法和多路视频虚实融合与渲染，并构建了一套路口多相机多维立体监控系统。论文的主要研究工作如下：　　（1）本文搭建了一套路口多相机多维立体监控系统。该系统主要包括三个模块：一是多相机监控数据采集及编码，用于整合多路分散的视频流数据并将其推送到服务器端；二是路口多维立体场景构建，用于结合监控场景虚拟模型与三维地理信息平台；三是多路实时视频与场景模型虚实融合，用于将服务器端拉取的监控视频流融合到多维立体场景中，最终实现了路口多相机多维立体监控。　　（2）本文提出了一种基于时空特征图的高点辅助多相机空间对齐方法，用于估计多相机视频监控系统中相机的空间位置关系。该方法依托高点监控相机的全局感知能力，通过挖掘跨视角运动信息一致性，实现相机空间对齐。所提算法主要包括两部分：时空特征图构建和跨视角时空匹配。根据算法得到的像素点对应关系，将所有地面监控相机对齐到统一的成像空间。仿真场景和真实环境下的实验评估验证了算法有效性。　　（3）本文研究了一种基于SFM的多相机位姿标定方法，用于优化多相机视频监控系统中传感器间的相对位姿。该算法以现有SFM方法为基础，深入融合深度学习的特征提取及匹配方法，通过对监控场景进行三维点云重建，建立不同相机之间的空间联系。同时，该方法根据视频帧间的位姿一致性，利用稳定场景特征互补和干扰运动特征过滤的策略，提出了基于视频序列的多相机位姿估计优化方法。通过大量的实验评估，算法可以有效地提升多相机位姿估计的准确性。　　（4）本文研究了多视频与立体场景的虚实融合，用于将监控视频投放到虚拟三维场景，实现多维立体视频监控效果。该部分的研究主要包括相机可视域分析和视频纹理映射。首先，本文通过改进ShadowMap算法，分析了视频可视域。在此基础上，将图像纹理扩展为视频流数据，对虚拟模型进行实时视频流的纹理映射，最终实现多路视频与场景三维模型的虚实融合。
作者：	谢宇光
专业：	电子与通信工程
导师：	李静;张翔
授予学位：	硕士
授予学位单位：	西安电子科技大学
学位年度：	2021