详情

原文传递面向夜视成像系统的多源信息融合方法研究

论文题名：	面向夜视成像系统的多源信息融合方法研究
关键词：	夜视成像系统;多传感器标定;图像配准;纹理滤波;图像融合
摘要：	夜视成像系统是一种为车辆夜间行驶提供安全可靠信息的辅助设备，能够在夜间或低光照条件下提供更好的视野和更安全的驾驶体验。使用汽车夜视系统可以帮助驾驶员更好地应对夜间驾驶中的挑战，如“看不清、看不全”等问题。然而，现在的车载夜视系统由单一传感器构成，出现鲁棒性差、信息缺少等问题。而多传感器系统可以解决这些问题，并且通过融合多模态图像可以使得成像结果更利于人眼感知。因此，对夜视成像系统进行深入研究具有重要意义。　　本文针对目前夜视系统存在的一系列问题，围绕夜视成像系统的关键技术，进行系统设计以及多模态信息融合增强等几个方面的研究，主要研究内容包括如下：　　1.针对夜视成像场景，首先提出夜视成像系统设计方案，对多传感器进行选型与配置，主要包括可见光相机、近红外相机以及激光雷达等设备。其次为解决多传感器工作电压不同的问题，设计基于LTC3780的Buck-Boost稳压模块，为多传感器提供能量输入。最后，搭建出一套多源夜视成像系统。　　2.根据相机成像模型，研究相机的标定过程。使用张氏标定法对相机进行自标定，再通过多模态相机与激光雷达之间的联合标定，获取整个系统的位姿。为解决夜视条件下，配准难度大、速度慢等问题，提出一种基于激光雷达的可见光与近红外相机配准方法。经实验验证，与特征点配准算法相比较，本文的算法在运算效率上提升6倍并且在图像质量上更具有优势。　　3.研究了一种边缘引导滤波算法。首先，使用色彩量化对图像颜色进行分层，再利用纹理边缘检测器提取纹理边缘，其核心思想是统计像素邻域值来区分结构和纹理。其次，在纹理边缘的引导下，构建比例图。然后在比例图的圆形区域内对输入图像进行平均滤波，得到粗滤波图像。最后，采用一种固定窗的像素选择滤波器对滤波结果进行优化。实验结果表明，与其他算法进行比较，本文的算法能够准确提取纹理信息，且在SSIM与PSNR上取得良好的结果，以此证明可以用于图像纹理信息提取。　　4.研究了一种基于纹理信息的可见光与近红外图像融合算法，实现夜视图像增强。首先，使用纹理滤波器分离多模态图像的纹理与结构。由于夜视图像中含有噪声，使用贝叶斯分类模型对含噪声的纹理图像特征分类，再通过改进的联合双边滤波算法滤除噪声。最后，在HSV颜色空间中，融合分离的纹理信息与结构信息。经数据集测试，本文的算法取得较高的VIFF、SSIM以及QAB/F。在实地实验中，本文算法的NIQE值在4.0以下，具有良好的结果。在夜视情况下，不仅消除了噪声，而且图像的细节更加完整，更加利于人类视觉感知。　　本文搭建了一套夜视成像系统，为解决夜视图像配准效率低等问题，研究了一种基于激光雷达的可见光与近红外图像配准方法。针对夜视图像细节缺失、噪声干扰等问题，研究了一种基于纹理信息的可见光与近红外图像融合增强算法。其中，为提取图像结构分离纹理信息，使用一种边缘引导滤波算法。经实验分析验证，本文的融合增强算法取得了较好的结果，实现夜视图像增强的目的。该方法对于提高目前车载夜视成像水平具有重要意义。
作者：	孙北辰
专业：	电气工程
导师：	张冠宇
授予学位：	硕士
授予学位单位：	吉林大学
学位年度：	2023