详情

原文传递基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统

专利名称：	基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
摘要：	本发明涉及基于移动跟随识别的人工神经网络道路纹理贴图方法，基于移动跟随识别的人工神经网络道路纹理贴图方法，包括确立所述多幅遥感影像图以及相应的红外遥感图之间统一的多个地理坐标系，并在所述多幅遥感影像图中的每一副遥感影像图上设定道路生成的起始点；进而设定移动点，从所述起始点开始基于移动点的移动和点分离而生成城市或乡镇或郊外道路网模型m,并在生成过程中跟随移动点和分离的点完成道路路线上的纹理贴图；最后根据所述统一的多个地理坐标系将完成道路路线上的纹理贴图的多幅遥感影像图与所述相应的红外遥感图进行配准。本发明的纹理贴图方法利用矩形框及其导引线的设置而跟随RNN道路生成模型中生成每一个道路路线节点的移动点而同步识别框内道路材质完成纹理贴图，提高了贴图效率和道路识别的视觉真实性，为围绕道路及其周边的地理地质学研究提供基础性地理数据。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	泰瑞数创科技(北京)有限公司
发明人：	刘俊伟
专利状态：	有效
申请日期：	2021-11-16T00:00:00+0800
发布日期：	2022-03-15T00:00:00+0800
申请号：	CN202111355515.X
公开号：	CN114187341A
代理机构：	北京中普鸿儒知识产权代理有限公司
代理人：	谢建玲
分类号：	G06T7/49;G06T7/30;G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/762;G;G06;G06T;G06K;G06N;G06V;G06T7;G06K9;G06N3;G06V10;G06T7/49;G06T7/30;G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/762
申请人地址：	100089 北京市海淀区中关村南大街5号二区683栋20层22
主权项：	1.基于移动跟随识别的人工神经网络道路纹理贴图方法，其特征在于，包括如下步骤： S1.获取至少一个城市或乡镇或郊外的多幅遥感影像图以及相应的红外遥感图，确立所述多幅遥感影像图以及相应的红外遥感图之间统一的多个地理坐标系，并在所述多幅遥感影像图中的每一副遥感影像图上设定道路生成的起始点； S2.设定移动点，从所述起始点开始基于移动点的移动和点分离而生成城市或乡镇或郊外道路网模型m，并在生成过程中跟随移动点和分离的点完成道路路线上的道路纹理贴图； S3.根据所述统一的多个地理坐标系将完成道路路线上的纹理贴图的多幅遥感影像图与所述相应的红外遥感图进行配准。 2.根据权利要求1所述的方法，其特征在于，S1具体包括： S1-1获取1-2000个城市或乡镇或郊外的多幅遥感影像图以及相应的红外遥感图，所述相应的红外遥感图是与所述多幅遥感影像图采集的同一时刻获取的，且对于同一个城市或乡镇或郊外的同一图像采集覆盖区域内的多幅遥感影像图之间为不同时刻获取的，并获取所述多幅遥感影像图中选定完整的预定标准建筑，所述多幅遥感影像图的幅数为540-3000000； S1-2将所述多幅遥感影像图以及相应的多幅红外遥感图组成的每组两幅图的多个图组，根据预定标准建筑和地理正北向确定每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E(i),i＝1,2,…,N，N为遥感影像图或相应的红外遥感图的幅数； S1-3选取每一幅所述遥感影像图，以其中一预定建筑屋顶上任一点在其建立的坐标系的XOY面内的投影作为起始点。 3.根据权利要求2所述的方法，其特征在于，所述预定标准建筑具有矩形的屋顶边框，并且选择其中一个顶点在地面的垂直投影作为坐标原点O，以其中一边在地面的垂直投影作为X轴，另一边在地面的垂直投影作为Y轴，或者所述X轴指向正东方，Y轴正北方，并且加Z轴形成立体坐标系E，所述根据预定标准建筑和地理正北向确定每一图组中1幅遥感影像图以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E(i),i＝1,2,…,N，具体包括：确定坐标系E的X轴与正北向之间的夹角γ，将坐标系E原点放置到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中在E下相同的预设点上，并调整X轴指向使其与正北向之间的夹角为γ，或者当所述X轴指向正东方，Y轴正北方时，调整X轴指向正东方或调整Y轴指向正北方，得到每一图组中的1幅遥感影像图以及1幅相应的红外遥感图中统一X轴指向的多个坐标系E(i),i＝1,2,…,N。 4.根据权利要求2所述的方法，其特征在于，S2具体包括： S2-1在选取的每一幅所述遥感影像图中设定初始移动点A与起始点重合，设定与选取的每一幅所述遥感影像图中建立的坐标系的XOY面共面的具有一定宽度w的矩形框F，在矩形框F几何中心上设置垂直于宽度方向且与矩形框F共面的导引线段LC，将所述矩形框F几何中心与初始移动点A重合，且设定初始步长d，将初始移动点A直线方向移动所述初始步长d，形成初始道路线段l，将导引线段LC与初始道路线段l重合，其中， w不小于按照所述多幅遥感影像图中对应的道路宽度中最小的宽度，或者，w按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为3-5m，或者w为所述多幅遥感影像图中所有道路宽度平均值的0.5-1.5倍，所述初始步长d不小于矩形框的长度即不小于1-2m； S2-2从初始移动点A直线方向移动所述初始步长d后所处的点开始，利用RNN循环神经网络算法，通过包括编码器以及解码器的节点生成器生成道路连续节点，在生成过程中连接生成前后的两个节点并标注道路分叉节点Dj,j＝1,2,…,Mk，其中Mk为第k幅遥感影像图中最终路网生成完毕时生成的道路分叉节点总数，并在分叉节点Dj上分离移动点为分岔路线数个分离的移动点，继续各自利用RNN循环神经网络算法进行分岔路线的节点生成，其中，将新的生成节点输入节点生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成道路网形成路网模型m，所述分叉节点Dj以在其选取的每一幅所述遥感影像图中建立的坐标系下的坐标和一个附加码进行标注；其中，在生成第一个节点并连接所述所的处点和第一个节点之后开始跟随移动点移动所述矩形框F，移动过程中始终保持导引线段LC与生成前后的两个节点之间的连线重合，在移动过程中识别矩形框F内的道路材质并完成道路纹理贴图。 5.根据权利要求4所述的方法，其特征在于，d为按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为1-5m，且在所有的多幅遥感影像图中，任一矩形框的移动在当矩形框F几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度之前，都满足如下移动条件：每经历预设时间间隔T之后正好移动了一个矩形框F长度，并在此时分离该矩形框F为两个与矩形框F全等的矩形框，其中一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图而另一个仍然继续进行所述移动，并且，在第k幅遥感影像图中，当矩形框F的几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度时，分离为一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图，以及一组分叉节点Dj上分岔路线数Nj个与矩形框F全等的分离的矩形框Nj而继续移动到各自几何中心都与分叉节点Dj重合且各自的引导线都与各自分岔路线上与分叉节点Dj最近的节点与分叉节点Dj的连线重合的位置，之后各自再跟随所述分岔路线数个分离的移动点继续在满足所述移动条件下移动，且所述继续移动的过程中同样使得各导引线段与各分岔路线中生成前后的两个节点之间的连线重合，并同样在所述继续移动过程中识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图。 6.根据权利要求4所述的方法，其特征在于，d为按所述多幅遥感影像图的图像比例尺换算到的实际尺寸为1-5m，且在所有的多幅遥感影像图中，任一矩形框的移动在当矩形框F几何中心移动到离分叉节点Dj的距离小于或等于矩形框F的长度之前都满足如下移动条件：每经历预设时间间隔T之后正好移动了一个矩形框F长度，并在此时分离该矩形框F为两个与矩形框F全等的矩形框，其中一个停留在原地为矩形框FP用于识别其内部的道路材质并完成道路纹理贴图而另一个仍然继续进行所述移动，从而在节点连线上生成了多个停留在原地的矩形框，并且，在第k幅遥感影像图中，当道路分叉节点或非分叉节点与其距离最接近的前一个用于识别其内部的道路材质并完成道路纹理贴图的停留在原地的矩形框的几何中心之间的连线长度小于或等于该停留在原地的矩形框的长度时，该停留在原地的矩形框分离为一个长度为该小于或等于该停留在原地的矩形框的长度的矩形框而继续移动，使得其移动方向最前端的宽经过该道路分叉节点或非分叉节点时停留在原地形成长度改变的矩形框或FP，以及另一个长度不变的矩形框继续移动到其几何中心与该道路分叉节点或非分叉节点重合的位置，且对道路分叉节点情况，该另一个长度不变的矩形框进一步分离成该道路分叉节点上分岔路线数个与该另一个长度不变的矩形框全等的分离的矩形框，使得各自的引导线分别与各自分岔路线上与该道路分叉节点最近的节点与该道路分叉节点的连线重合，之后各自再跟随所述分岔路线数个分离的移动点继续在满足所述移动条件下移动，且所述继续移动的过程中同样使得各导引线段与各分岔路线中生成前后的两个节点之间的连线重合，并同样在继续移动过程中识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图。 7.根据权利要求5或6所述的方法，其特征在于，附加码为当道路分叉节点与其距离最接近的前一个停留在原地的矩形框的几何中心之间的连线长度小于或等于该停留在原地的矩形框的长度时，所述连线在移动方向上延长线与多个分岔路线上离分叉节点最近的生成的道路节点与该道路分叉节点连线之间的多个夹角角度，当完成所述道路纹理贴图后即删除对应的停留在原地形成矩形框。 8.根据权利要求7所述的方法，其特征在于，识别各停留在原地的分离的矩形框内的道路材质并完成道路纹理贴图具体包括： S2-2-1建立道路材质贴图模型； S2-2-2将矩形框内的多个预设分区图像代入道路材质贴图模型中获得矩形框内路面的纹理图； S2-2-3找到贴图库中多个预设分区所对应的纹理图案，并将纹理图案对应地填充到矩形框中的所述多个预设分区完成贴图。 9.根据权利要求8所述的方法，其特征在于，其中步骤S2-2-1具体包括： S2-2-1-1对所有多幅遥感影像图进行矩形框移动，获取到多个停留在原地的矩形框FP或FiPk及其内部的图像pic1，并进行多个预设分区划分编号，每个编号下以及相应的红外遥感图中对应分区都有相应的分为训练集和验证集，获取每个分区图像内部属于路面的像素点的平均RGB三值； S2-2-1-2建立多个图像pic1中每个分区对应道路材质的RGB聚类分布图，所述道路材质包括混凝土、新铺柏油、转色稳定的柏油、铺街石板、铺街地砖、矿渣、生活垃圾焚烧粉渣、土壤、植被中的至少三种； S2-2-1-3将每个分区训练集中Uj幅同种道路材质的图像pic1(j)以及相应的道路材质的平均RGB三值输入到RoiAlign层将pic1(j)通过全连接层，以及softmax函数得到预测分类s，利用的预测分类s和输入平均RGB三值在所述聚类分布图中对应为分类q的置信度计算第j种道路材质误差损失其中，pj表示分区内第j种道路材质的训练集，表示softmax函数得到的第k幅道路材质的图像对于类别q的置信度，为第k幅道路材质的图像在全连接层得到在所述聚类分布图中对应为分类q时的Q1维向量第q个向量值，Q为总的道路材质种数，Q≥3，和分别表示对总的道路材质种数Q以及对分区内第j种道路材质的训练集中所有道路材质的图像幅数求和，log()表示以e为底的对数，利用误差损失反向传播来调整网络参数，进行分类回归对预测结果进行修正，使用分区内验证集验证当损失值变化率趋于预设阈值thres＜2-5％内时，认为已经获得第j种道路材质在所述聚类分布图中对应为分类q时预测分类的置信度其中L(l+1)和L(l)分别为第l+1次训练和第l次训练的误差损失，为此时分区内第k幅道路材质的图像在全连接层得到在所述聚类分布图中对应为分类q时的Q1维向量第q个向量值，以及第j种道路材质在所述聚类分布图中对应为分类q时的中间分类预测模型 S2-2-1-4赋予第j种道路材质为所述聚类分布图中其他分类重复步骤S2-2-1-3，以遍历所有道路材质种类获得 Q种道路材质的分类的置信度和对应的多个中间分类预测模型选择置信度最大值对应的中间分类预测模型作为第j种道路材质最终分类模型Sjf； S2-2-1-5选择另一种道路材质的Uj+1幅建道路材质图像pic1(j+1)，重复步骤S2-2-1-3-S2-2-1-4，遍历所有Q种道路材质，得到最终的道路材质分类模型Sf＝{S1f，S2f，…，SQf}；建立道路材质分类模型与道路纹理图Pstr之间的映射关系F:Sf→Pstr，获得矩形框内每个分区道路材质贴图模型S记作S＝Pstr＝F(Sf)＝{F1(S1f),F2(S2f)，…，FQ(SQf)}； S2-2-1-6建立道路材质的RGB聚类分布图中不同道路材质种类的红外遥感图谱中特征波段归一化强度与道路材质种类之间的道路材质红外分类模型Srem，具体包括如下步骤：对每个分区内训练集中对应的不同种材质道路进行主成分分析法聚类分析，得到的载荷图，并得到对于不同种材质道路敏感的特征波段，并用特征波段归一化强度作为神经网络的输入端建立基于人工神经网络的道路材质红外分类模型Srem，并用验证集验证； S2-2-2具体包括：获取每个分区内1幅分区图像pic3，将pic3代入相应分区的Sf中获得Q个置信度中最大值对应的模型Smaxf所对应的材质作为该输入pic3中道路路面对应的预测材质sf，再获取pic3对应的红外遥感图中特征波段归一化强度输入到道路材质红外分类模型Srem中得到道路材质分类sremf； S2-2-3具体包括：若sf＝sremf，则利用对应的贴图模型Fmaxf(Smaxf)获得道路材质纹理图Pmaxstr，找到贴图库中相应的纹理图案，并将该纹理图纹理填充到每个分区内，形成贴图层PmaxstrL完成贴图，反之，将道路材质分类sremf对应的道路材质分类模型Sremf获得道路材质纹理图Premf＝Fremf(Sremf)，找到贴图库中相应的纹理图案，并将该纹理图纹理填充到每个分区内，形成贴图层PremfL完成贴图。 10.根据权利要求9所述的方法，其特征在于，平均RGB三值选择加权平均计算，越靠近矩形框FP或FiPk的处权值越小，具体包括在内部点到任选的以FP或FiPk矩形框边的距离等分为每份lp长，通过线性递减方式权值从该内点处为50％一直到矩形框边变化；所述pic2对应的红外遥感图中特征波段图谱，是指在所述pic2获取多个分区内部对应点的遥感红外光谱，并获得平均谱，基于所述平均谱获得特征波段图谱，平均谱是根据各波段的谱峰积分强度的算术平均或依照各波段的权重而对各波段的谱峰积分强度进行加权平均。 11.根据权利要求9或10所述的方法，其特征在于，S3具体包括：将完成道路路线上的纹理贴图的多幅遥感影像图以及相应的红外遥感图进行配准，并将所述贴图层PmaxstrL或PremfL映射到相应的红外遥感图中，所述配准是指将具有贴图层PmaxstrL或PremfL的遥感影像图与相应的红外遥感图按各自的坐标系的原点和X轴或Y轴重合进行配准，或者将Z轴重合而使得X轴或Y轴相互平行。 12.一种基于移动跟随识别的人工神经网络道路纹理贴图系统，其特征在于，包括航空遥感系统，地面服务器，以及客户端，所述航空遥感系统与所述地面服务器之间，以及所述地面服务器和所述客户端之间能够数据通讯，其中，所述航空遥感系统包括，卫星定位装置，卫星遥感影像拍摄装置，遥感红外拍摄装置，分别实现同步对地面可见光波段遥感影像的拍摄，获得遥感影像图，以及遥感红外图以及红外光谱的采集，所述地面服务器基于如权利要求1-11中任一项所述方法对遥感影像图以及遥感红外光谱进行处理而完成道路纹理贴图，并将道路纹理贴图结果根据用户的请求而发送给用户，所述客户端能够对接收到的所述结果进行展示。 13.一种非暂时性存储介质，其中存储有可由地面服务器运行而实现如权利要求1-11中任一项所述方法的计算机可读程序。
所属类别：	发明专利