详情

原文传递基于深度学习的航路环境感知技术研究与应用

论文题名：	基于深度学习的航路环境感知技术研究与应用
关键词：	智能船舶;航路环境感知;目标检测;视频分类;多标签分类
摘要：	水路运输是国民经济的基础，作为水路的重要交通工具，船舶航行安全尤为重要。随着《智能船舶发展行动计划（2019-2021年）》、《中国制造2025》等文件的提出，智能船舶将是未来重要的发展方向之一。自主环境感知是智能船舶的重要功能。目前，船舶航行的环境信息主要通过海事雷达（Marineradar）、电子海图（ElectronicChartDisplayandInformationSystem,ECDIS）、船舶自动识别系统（AutomaticIdentificationSystem,AIS）等来获取。伴随计算机运算效率的提升，基于计算机视觉和深度学习的感知系统，可以作为有效的技术方案和手段来获取环境信息，为船舶导航提供服务。因此，本文利用深度学习技术对航路环境感知算法进行设计，并开发航路环境感知系统，以服务于智能船舶导航和海事监管。本文的主要研究内容如下：　　（1）水上目标检测是航路环境感知的核心。水上目标种类繁多，包括船舶、航标、桥梁以及其他障碍物等。为了保证船舶的安全，一个高效的检测算法是必不可少的。分析目前性能SOTA（State-Of-The-Arts）的目标检测算法，选择了兼顾精度与速度的单阶段（one-stage）目标检测算法YOLOv4作为本文检测算法的基线模型。为了使其更好地适用于水上目标检测，对其进行了改进。首先，利用参数重构技术对目标检测的骨干网络（Backbone）进行优化，在提高模型特征提取能力的同时，加快模型的推理速度。其次，利用注意力机制和跨层连接的思想对特征金字塔结构（FeaturePyramidNetworks,FPN）进行改进，提高了模型的多尺度检测能力并进一步减小模型的参数量。最后，利用空洞卷积对原有的空间金字塔池化层（SpatialPyramidPooling,SPP）进行改进，弥补了原有的最大池化层信息丢失的缺陷，有效地扩大了模型的感受野。最终，本文提出了水上目标检测算法ShipYOLOv2，并在公开的水上目标检测数据集WSODD（WaterSurfaceObjectDetectionDataset）进行了实验。相比于已有的SOTA算法，ShipYOLOv2在保证实时推理速度的同时有着最好的检测精度。　　（2）航标是众多水上目标中一个特殊的类别，其作为重要的助航标志，在白天可以通过目标检测算法得到对应的助航信息。到了夜间，助航信息的获取主要来自航标灯质，其是一段具有动态信息的视频。因此，本文提出了一个新颖的多标签视频分类算法NMLNet来完成夜间航标灯质的识别。首先，NMLNet采用了双分支结构。输入的视频帧被分成RGB格式图像和V通道（Value）格式图像，作为NMLNet两个分支的输入。RGB分支用于进行航标灯的颜色标签识别，V通道分支用于航标灯的闪烁标签识别。其次，将通道注意力机制融入到轻量的特征提取算法MobileNetv2中，作为闪烁标签分类的骨干网络（Backbone），用于完成颜色标签的分类任务。对于闪烁标签，利用基于CNNamp;LSTM的视频分类算法来完成识别。最后，根据航标灯质的分类规则，利用二元相关方法（binaryrelevance）对多标签识别结果进行融合。通过在自制的夜间航标灯质数据上进行实验，证明了本文提出的NMLNet可以有效地完成夜间航标灯质的识别任务。　　（3）基于ShipYOLOv2和NMLNet算法，开发了航路环境感知系统，可服务于智能船舶。根据系统功能需求，基于B/S架构利用Flask框架完成系统的后端开发，Vue框架完成系统的前端页面设计，利用MySQL完成系统数据库的构建，并通过TensorRT技术对深度学习模型进行加速，提高系统的运行效率。　　论文提出的水上目标检测算法和夜间航标灯质识别算法实现了对水上目标的感知，设计开发的航路环境感知系统可提供基于图像和视频的水上目标检测、视频分类等功能，研究成果可以为智能船舶的航行提供有效的视觉感知服务，具有应用价值。
作者：	韩旭
专业：	交通运输工程
导师：	赵丽宁
授予学位：	硕士
授予学位单位：	大连海事大学
学位年度：	2022