详情

原文传递基于单目相机的船舶轨迹跟踪与预测方法

专利名称：	基于单目相机的船舶轨迹跟踪与预测方法
摘要：	本发明属于海洋测绘技术领域，具体涉及一种基于单目相机的船舶轨迹跟踪与预测方法，包括以下步骤：步骤1：构建目标船图像数据集，步骤2：数据集标注及训练，步骤3：模型训练结果评价分析，步骤4：基于YOLOv5和Deep Sort算法的目标船跟踪实验，步骤5：目标船视觉定位及数据预处理，步骤6：LSTM轨迹预测模型的搭建，步骤7：预测模型时间步长的选取及评价，步骤8：目标船轨迹预测及验证分析。此方法可完成对海上船舶目标的快速准确检测及跟踪，对于识别船舶危险行为，提高海事监管效率具有重要意义。
专利类型：	发明专利
国家地区组织代码：	天津;12
申请人：	天津大学
发明人：	高邈;陈帅;陈鹏旭;廖子豪;康振;陈翔宇;贾佳策;曾希;张安民;周春辉
专利状态：	有效
申请日期：	2022-10-26T00:00:00+0800
发布日期：	2023-01-13T00:00:00+0800
申请号：	CN202211317790.7
公开号：	CN115601397A
代理机构：	天津市三利专利商标代理有限公司
代理人：	李文洋
分类号：	G06T7/246;G06T7/70;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G;G06;G06T;G06V;G06N;G06T7;G06V10;G06N3;G06T7/246;G06T7/70;G06V10/764;G06V10/82;G06N3/04;G06N3/08
申请人地址：	300072 天津市南开区卫津路92号
主权项：	1.一种基于单目相机的船舶轨迹跟踪与预测方法，其特征在于:包括以下步骤：步骤1：构建目标船图像数据集，采用数据增强技术，利用常用的增强操作生成更多的目标船图像；步骤2：数据集标注及训练，在整理完所有图像数据后，需要对所有训练集和验证集中的船舶图像进行标注；步骤3：模型训练结果评价分析，采用平均精度均值mAP，计算所有类别的精度Precision和召回率Recall，并计算所有类别AP的平均值；步骤4：基于YOLOv5和Deep Sort算法的目标船跟踪实验，将基于YOLOv5的目标检测器与Deep Sort算法进行融合，实现对自定义目标船的持续跟踪，并将目标在跟踪视频中的像素坐标进行输出，方便下一步的目标船舶方位解算；步骤5：目标船视觉定位及数据预处理，基于齐次坐标转换原理及小孔成像模型建立目标船像素坐标与世界坐标，的转换模型，通过此过程可以将由步骤4中跟踪得到的目标船像素坐标转换成以相机光心为原点的相对坐标；步骤6：LSTM轨迹预测模型的搭建，选择LSTM网络进行目标船轨迹预测，该模型由1个输入层、五个隐藏层和一个输出层构成，输入层的输入序列的输入维度为2，即步骤5中由像素坐标转换后的相对坐标；输出层的输出序列输出维度为2，隐藏层由2个LSTM层、2个Dropout层以及1个Dense层构成；根据经验设置Dropout层的概率设置为0.3，用于防止过拟合现象的出现；设置Dense层的参数为2，即最终结果输出为预测的目标船相对位置信息，为了引入一定的非线性，选择ReLU激活函数作为Activation层的激活函数，设置在隐藏层和输出层之间；步骤7：预测模型时间步长的选取及评价，选取步骤6中解算出来的相对坐标信息前80％作为训练集，剩余20％作为验证集，进行模型的训练；步骤8：目标船轨迹预测及验证分析，利用步骤7中选取的最佳预测模型对目标船相对轨迹信息进行预测，并用原始视觉定位轨迹进行验证，分析模型预测的误差大小，如未达到理想预测精度，则应继续对网络模型进行调参，重新训练，以提高对目标船轨迹预测的精度。 2.根据权利要求1所述的基于单目相机的船舶轨迹跟踪与预测方法，其特征在于:步骤2中，使用www.makesense.ai网站对图像中的船舶进行标注。之后对训练模型相关参数进行设置，其中训练过程中数据集的迭代次数epochs设置为300次；初始学习率lr0设置为0.01，当模型学习率达到预设初始值时，采用余弦下降的方式下降，在训练结束时下降为0.002；每次梯度更新的批量数batch-size设置为16，即一次看完16张图片进行一次权重更新。 3.根据权利要求1所述的基于单目相机的船舶轨迹跟踪与预测方法，其特征在于:步骤3中，精度和召回率的计算公式如下：其中TP表示检测框内样本的真实类别是正确的，并且模型预测结果也是正确的，即检测目标和检测结果都为ship；TN表示检测框内样本的真实类别是错误的，并且模型预测结果也是错误的，即检测目标不是ship而检测结果是ship；FP表示检测框内样本的真实类别是错误的，而模型预测结果是正确的，即检测目标和检测结果都不是ship；FN表示检测框内样本的真实类别是正确的，而模型预测结果是错误的，即检测目标是ship而检测结果不是ship。由训练结果可以判断模型识别性能优良，若平均精度均值mAP较低，则应对图像数据集进行补充及标注，对网络模型进行调参，重新训练以得到较好的识别性能。 4.根据权利要求1所述的基于单目相机的船舶轨迹跟踪与预测方法，其特征在于:所述步骤5中，利用均值滤波对解算得到的相对坐标进行预处理，使轨迹更加平滑。 5.根据权利要求1所述的基于单目相机的船舶轨迹跟踪与预测方法，其特征在于：所述步骤7中，模型训练过程中针对时间步长的选择进行多组实验，即将时间步长设置为n，预测第n+1时刻的方位坐标，即输入t-n+1到t时刻的方位坐标，预测t+1时刻的坐标，采用均方误差(MSE)来评估目标船的轨迹预测模型，均方误差是指船舶坐标预测值与船舶真实坐标值之差平方的期望值，MSE的值越小，说明该LSTM模型对本实验所用数据预测准确度较高，具体计算公式如下：其中，表示利用LSTM模型预测t时刻坐标点的位置，(x(t)，y(t))表示该时刻在t时刻实际坐标点的位置，T为样本数量。