详情

原文传递基于三维深度特征提取的船舶精定位方法及系统

专利名称：	基于三维深度特征提取的船舶精定位方法及系统
摘要：	本发明提供了一种基于三维深度特征提取的船舶精定位方法及系统，包括：步骤S1：基于光学立体成像原理，结合摄影位姿数据，获取不同角度、不同距离上成像的多视图像；步骤S2：在获取的图像中识别出感兴趣区域框，框出图像中船只目标，对感兴趣区域中的目标进行关键点识别；步骤S3：识别出包含语义的关键点，在不同角度摄影的图像中识别出来的关键点按照语义标签进行配对；步骤S4：利用关键点的三维空间坐标信息对目标进行分类和识别，识别出船只型号将数据库中真实模型按照关键点在空间的位置虚拟安置到本体坐标系中。本发明降低噪音干扰，降低环境干扰造成的船舶目标的虚警和漏检；本发明可捕捉的特征点多，识别准确率大大提升。
专利类型：	发明专利
国家地区组织代码：	上海;31
申请人：	上海机电工程研究所
发明人：	孙棪伊;安国琛;雷良;顾村锋;王宝欣;刘杰;张迪
专利状态：	有效
申请日期：	2023-06-29T00:00:00+0800
发布日期：	2023-11-03T00:00:00+0800
申请号：	CN202310788014.3
公开号：	CN116994004A
代理机构：	上海汉声知识产权代理有限公司
代理人：	胡晶
分类号：	G06V10/46;G06V10/25;G06T7/80;G;G06;G06V;G06T;G06V10;G06T7;G06V10/46;G06V10/25;G06T7/80
申请人地址：	201199 上海市闵行区中春路1333-1号
主权项：	1.一种基于三维深度特征提取的船舶精定位方法，其特征在于，包括：步骤S1：基于光学立体成像原理，结合摄影位姿数据，获取不同角度、不同距离上成像的多视图像；步骤S2：在获取的图像中识别出感兴趣区域框，框出图像中船只目标，对感兴趣区域中的目标进行关键点识别；步骤S3：识别出包含语义的关键点，在不同角度摄影的图像中识别出来的关键点按照语义标签进行配对；步骤S4：利用关键点的三维空间坐标信息对目标进行分类和识别，识别出船只型号将数据库中真实模型按照关键点在空间的位置虚拟安置到本体坐标系中。 2.根据权利要求1所述的基于三维深度特征提取的船舶精定位方法，其特征在于，在所述步骤S1中：当目标符合多种飞行器轨迹条件时，根据战术需要采用多个飞行器或多种飞行器轨迹混合协同搜寻；多个飞行器协同侦查时互相通信，使用多个飞行器获取的信息联合解算得到目标的三维信息用于识别和关键点定位；通信采用广播方式，每个飞行器向其它飞行器广播通信自己获得的信息，并接收其它飞行器发出的信息，每个飞行器获得完整的数据，并在收到所有数据后各自独立解算；每个飞行器在定位末段时总计摄影三次，第一次摄影时，飞行器距离目标最远，视场最大，目标识别算法能够从多个目标中确定搜寻目标；第一次摄影后飞控系统根据定位结果调整飞行方向，后续摄影时目标出现在图像的中心区域，缩小识别目标感兴趣区域框的搜索范围，缩短数据处理时间；同时感兴趣区域框范围准确度大于预设标准时，实际相机成像时转入感兴趣区域成像方式，只针对感兴趣区域范围内成像。 3.根据权利要求2所述的基于三维深度特征提取的船舶精定位方法，其特征在于：按照数据库内的船舶模型预先进行特征点识别并标定，在搜寻时，每个飞行器在末段搜寻时总计摄影三次，每次摄影后，执行以下步骤：在获取的图像中识别出感兴趣区域框，框出图像中船只目标，识别出感兴趣区域中包含语义的关键点；不同角度摄影的图像中识别出来的关键点包含三维特征，按照语义标签进行配对；将识别出的关键点的像片坐标和摄影时弹上导航设备记录的摄影位姿参数发送给所有其它飞行器，同时接收其它飞行器发出的数据，摄影位姿包括曝光位置和摄影姿态；位姿数据解算：O点时相机的透镜中心，A点是场景空间中的目标点，在曝光时间Δt之内，目标点相对移动到了B点：其中，θ是成像主光轴与铅垂线的夹角，v为飞行器速度，t为飞行时长； f是相机的焦距，s是相机与目标间的距离，s＝H/cosθ，H为航高； α是视场角，为半像幅与焦距构成的夹角，视场角的计算公式为：其中ps是像素大小，w是像幅；水平方向上： Δx是像移，飞行体的运动导致目标点A在像平面上像点c移动到了b，像平面上的距离为需要求解的像移Δx；由于所以：垂直方向上： Δx是像移，飞行体的运动导致目标点A在像平面上像点a移动到了b，像平面上的距离为需要求解的像移Δx；由于所以其中，vn为vn为飞行器n的飞行速度，n＝5；将这一组协同搜寻的不同飞行器每次拍摄采集的关键点像片构成同一空间点在不同图像上的同名像点观测。 4.根据权利要求1所述的基于三维深度特征提取的船舶精定位方法，其特征在于，在所述步骤S3中：将接收到的所有摄影位姿数据转换到本体坐标系，以飞行器本体坐标系做为联合解算的参考坐标系，自身识别的关键点像片坐标和从其它飞行器接收来的关键点像片坐标做为联合解算时所需的像点观测数据；自身飞行器的摄影位姿和其它飞行器的摄影位姿做为控制条件，通过联合区域网平差技术解算出所有关键点在飞行器本体坐标系中的三维空间坐标以及三维特征信息，识别出目标位置并计算出打击的方向向量。 5.根据权利要求1所述的基于三维深度特征提取的船舶精定位方法，其特征在于，在所述步骤S4中：利用图像上识别出的关键点的三维信息确定船只类型后，船只的三维模型根据区域网平差解算的关键点空间坐标安置到飞行器的参考坐标系中，定位船只上任意指定的位置。 6.一种基于三维深度特征提取的船舶精定位系统，其特征在于，包括：模块M1：基于光学立体成像原理，结合摄影位姿数据，获取不同角度、不同距离上成像的多视图像；模块M2：在获取的图像中识别出感兴趣区域框，框出图像中船只目标，对感兴趣区域中的目标进行关键点识别；模块M3：识别出包含语义的关键点，在不同角度摄影的图像中识别出来的关键点按照语义标签进行配对；模块M4：利用关键点的三维空间坐标信息对目标进行分类和识别，识别出船只型号将数据库中真实模型按照关键点在空间的位置虚拟安置到本体坐标系中。 7.根据权利要求6所述的基于三维深度特征提取的船舶精定位系统，其特征在于，在所述模块M1中：当目标符合多种飞行器轨迹条件时，根据战术需要采用多个飞行器或多种飞行器轨迹混合协同搜寻；多个飞行器协同侦查时互相通信，使用多个飞行器获取的信息联合解算得到目标的三维信息用于识别和关键点定位；通信采用广播方式，每个飞行器向其它飞行器广播通信自己获得的信息，并接收其它飞行器发出的信息，每个飞行器获得完整的数据，并在收到所有数据后各自独立解算；每个飞行器在定位末段时总计摄影三次，第一次摄影时，飞行器距离目标最远，视场最大，目标识别算法能够从多个目标中确定搜寻目标；第一次摄影后飞控系统根据定位结果调整飞行方向，后续摄影时目标出现在图像的中心区域，缩小识别目标感兴趣区域框的搜索范围，缩短数据处理时间；同时感兴趣区域框范围准确度大于预设标准时，实际相机成像时转入感兴趣区域成像方式，只针对感兴趣区域范围内成像。 8.根据权利要求7所述的基于三维深度特征提取的船舶精定位系统，其特征在于：按照数据库内的船舶模型预先进行特征点识别并标定，在搜寻时，每个飞行器在末段搜寻时总计摄影三次，每次摄影后，执行以下步骤：在获取的图像中识别出感兴趣区域框，框出图像中船只目标，识别出感兴趣区域中包含语义的关键点；不同角度摄影的图像中识别出来的关键点包含三维特征，按照语义标签进行配对；将识别出的关键点的像片坐标和摄影时弹上导航设备记录的摄影位姿参数发送给所有其它飞行器，同时接收其它飞行器发出的数据，摄影位姿包括曝光位置和摄影姿态；位姿数据解算：O点时相机的透镜中心，A点是场景空间中的目标点，在曝光时间Δt之内，目标点相对移动到了B点：其中，θ是成像主光轴与铅垂线的夹角，v为飞行器速度，t为飞行时长； f是相机的焦距，s是相机与目标间的距离，s＝H/cosθ，H为航高； α是视场角，为半像幅与焦距构成的夹角，视场角的计算公式为：其中ps是像素大小，w是像幅；水平方向上： Δx是像移，飞行体的运动导致目标点A在像平面上像点c移动到了b，像平面上的距离为需要求解的像移Δx；由于所以：垂直方向上： Δx是像移，飞行体的运动导致目标点A在像平面上像点a移动到了b，像平面上的距离为需要求解的像移Δx；由于所以其中，vn为vn为飞行器n的飞行速度，n＝5；将这一组协同搜寻的不同飞行器每次拍摄采集的关键点像片构成同一空间点在不同图像上的同名像点观测。 9.根据权利要求6所述的基于三维深度特征提取的船舶精定位系统，其特征在于，在所述模块M3中：将接收到的所有摄影位姿数据转换到本体坐标系，以飞行器本体坐标系做为联合解算的参考坐标系，自身识别的关键点像片坐标和从其它飞行器接收来的关键点像片坐标做为联合解算时所需的像点观测数据；自身飞行器的摄影位姿和其它飞行器的摄影位姿做为控制条件，通过联合区域网平差技术解算出所有关键点在飞行器本体坐标系中的三维空间坐标以及三维特征信息，识别出目标位置并计算出打击的方向向量。 10.根据权利要求6所述的基于三维深度特征提取的船舶精定位系统，其特征在于，在所述模块M4中：利用图像上识别出的关键点的三维信息确定船只类型后，船只的三维模型根据区域网平差解算的关键点空间坐标安置到飞行器的参考坐标系中，定位船只上任意指定的位置。
所属类别：	发明专利