详情

原文传递基于多目摄像头的船舶航行环境全景感知技术研究

论文题名：	基于多目摄像头的船舶航行环境全景感知技术研究
关键词：	船舶航行环境;全景图像拼接;深度学习;小目标检测
摘要：	智能感知是实现船舶智能航行的重要基础，利用摄像头采集船舶航行环境图像，再利用计算机视觉技术进行目标检测，并对航行环境中的目标（船舶和航标）进行标注和导航信息增强显示，能够有效形成对雷达、AIS等传统船舶感知手段的补充，并提升对船舶航行环境的理解，进一步保障航行安全。本文借助雷达360°感知的概念，利用图像拼接技术和目标检测技术，对基于多目摄像头的船舶航行环境全景感知技术展开研究，旨在实现基于视觉的船舶航行环境全景智能感知和信息增强显示。　　本文完成的主要研究工作如下: 　　（1）针对内河船舶航行环境的水面信息比较单一以及特征点较少的特点，研究了一种基于深度学习的图像超分辨率构建方法。该方法基于ESPCN（EfficientSub-PixelConvolutionalNeuralNetwork）卷积神经网络，利用亚像素卷积进行像素插值，实现摄像头图像从低分辨图到高分辨图的重构，从而丰富和增强图像细节信息和特征，克服水面特征点少的问题，能够有效提升特征点检测效率和图像显示效果。　　（2）针对传统人工设计的特征点检测方法对特征点定义不准确和提取速度较慢等缺点，研究了一种基于深度学习的特征点检测方法——SRSuperpoint。该方法利用基于编码器和解码器结构的Superpoint网络架构，以自监督方式实现了特征点的检测和描述，不仅省去了监督训练所需的大量人工标注工作量和特征点人工标注不准确的弊端，而且显著提升特征点的检测性能。对比实验结果证明，本文提出的SRSuperpoint方法检测得到的船舶航行环境图像特征点数量能够有效满足拼接要求，而且检测速度大幅度领先其他方法，可以满足全景图像实时性拼接需求。　　（3）针对需要从内河船舶航行环境图像中检测出来的目标都比较小的问题，研究了多目摄像头全景图像的小目标检测方法。该方法基于YOLOv5目标检测模型，从图像增强、注意力机制和小目标检测层等方面进行改进。对比实验结果表明，在内河船舶和航标数据集上，改进后的模型在不降低检测帧率的情况下，检测平均准确率均有所提升，对航标小目标可达到0.743，对船舶小目标可达到0.845。　　（4）针对船舶导航需求，设计并实现了基于多目摄像头的全景视频导航系统，该系统包括了环形布置的摄像头硬件，以及图像拼接处理、目标检测和信息增强显示等模块，能够实时地对船舶周围的航行环境进行目标（船舶和航标）检测、匹配和信息增强显示。　　本文系统地研究了内河船舶航行环境的全景图像拼接、目标检测和信息增强显示技术，实现了基于多目摄像头的全景视频导航系统的原型系统，是利用深度学习和计算机视觉进行智能船舶研究的一次有益探索，具有很好的理论研究意义与应用价值。
作者：	李正忠
专业：	交通运输工程
导师：	潘明阳
授予学位：	硕士
授予学位单位：	大连海事大学
学位年度：	2022