原文传递
可控时间插值网络的交通视频超分辨率重建
| 论文题名： | 可控时间插值网络的交通视频超分辨率重建 |
| 关键词： | 交通视频;超分辨率重建;帧特征时间插值;自注意力机制;时空特征融合 |
| 摘要： | 随着城市化的加快，为了更好地对城市交通进行管理，全国各个城市建立了比较完善的交通视频监控系统。交通视频监控系统虽然能实时采集道路上的交通信息，然而在采集与传输过程中由于存在运动模糊、传输带宽等影响因素，获得的交通视频在分辨率上会有一定的损失。如何提升交通视频的分辨率，已成为智能交通系统需要解决的问题。为此，本文提出一种基于可控时间插值网络的视频时空域超分辨率重建模型，并将其应用到交通视频超分辨率重建任务当中。本文主要工作如下： 1.构建了一种可控时间插值网络的视频时空域超分辨率重建模型CTI-VSSR。该模型由特征提取、可控帧特征时间插值、特征融合以及特征重建四个模块组成。其中在可控帧特征时间插值模块中，提出使用时间调制块来调制可变形卷积网络，实现任意帧速率的可控帧特征插值。在特征融合模块中采用两阶段的特征融合方案：（1）在第一阶段特征融合中，针对视频帧间存在遮挡、复杂形变，导致帧间特征无法进行有效地融合的问题，提出改进的自注意力机制时空特征融合模块，更好地对不同视频帧之间的时间信息与空间信息进行有效融合。（2）第二阶段特征融合中，针对视频帧间存在较大的自然运动，利用全局时间特征融合模块来聚合视频帧间长短期运动线索，进一步有效地对视频帧的时间序列特征进行融合。 2.将CTI-VSSR模型在Vimeo-90k、Adobe240fps数据集上进行训练，训练结束后在Vid4数据集上进行测试，测试结果表明模型的峰值信噪比为26.35dB，结构相似性为0.7983，与两阶段视频超分辨重建模型DAIN+EDVR相比，分别提升0.881%和1.876%。 3.将CTI-VSSR模型应用到交通视频超分辨率重建任务当中，采集真实道路场景下的交通视频并将其分为训练集与测试集，在交通训练集上对模型进行适应性训练。训练结束后，在不同天气、不同道路的交通测试集上进行测试，测试结果表明CTI-VSSR模型能够较好完成交通视频超分辨重建任务。最后，将模型应用到使用PyQt与openCV视觉库设计的交通视频超分辨重建系统中。 |
| 作者： | 张力波 |
| 专业： | 交通运输工程 |
| 导师： | 任卫军 |
| 授予学位： | 硕士 |
| 授予学位单位： | 长安大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
