详情

原文传递路面病害识别、图像处理模型训练方法、装置及电子设备

专利名称：	路面病害识别、图像处理模型训练方法、装置及电子设备
摘要：	本公开提供了一种路面病害识别、图像处理模型训练方法、装置及电子设备，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域。其中，路面病害识别方法具体实现方案为：获取待识别路面图像；基于对抗学习的方法，生成所述待识别路面图像的无损路面图像；将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域，并根据所述图像差异区域的特征确定所述待识别路面图像的病害识别结果。本方案不仅可以提升识别效率，而且可以提升路面病害识别的准确率。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京百度网讯科技有限公司
发明人：	张伟;张为明;于越;谭啸;孙昊
专利状态：	有效
申请日期：	2021-10-29T00:00:00+0800
发布日期：	2022-03-01T00:00:00+0800
申请号：	CN202111280003.1
公开号：	CN114120086A
代理机构：	北京清亦华知识产权代理事务所(普通合伙)
代理人：	单冠飞
分类号：	G06V20/00;G;G06;G06V;G06V20;G06V20/00
申请人地址：	100085 北京市海淀区上地十街10号百度大厦二层
主权项：	1.一种路面病害识别方法，包括：获取待识别路面图像；基于对抗学习的方法，生成所述待识别路面图像的无损路面图像；将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域，并根据所述图像差异区域的特征确定所述待识别路面图像的病害识别结果。 2.根据权利要求1所述的方法，其中，所述基于对抗学习的方法，生成所述待识别路面图像的无损路面图像，包括：将所述待识别路面图像输入至预设的第一生成器，获得所述待识别路面图像的无损路面图像；所述第一生成器是已经经过训练的第一生成式对抗网络中的生成器，所述生成器的输入为有损图像样本。 3.根据权利要求1所述的方法，其中，所述将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域，并根据所述图像差异区域的特征确定所述待识别路面图像的病害识别结果，包括：将所述无损路面图像和所述待识别路面图像输入至预设的第一路面病害识别模型；所述第一路面病害识别模型已经学习得到样本图像差异区域的识别能力以及样本图像差异区域与路面病害类别的映射关系；基于所述第一路面病害识别模型将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域；基于所述第一路面病害识别模型提取所述图像差异区域的特征；基于所述第一路面病害识别模型和所述特征，确定所述待识别路面图像的病害识别结果。 4.根据权利要求3所述的方法，其中，所述基于所述第一路面病害识别模型和所述特征，确定所述待识别路面图像的病害识别结果，包括：基于所述第一路面病害识别模型，采用实例分割方法对所述特征进行实例分割，获得所述待识别路面图像的包围框以及实例分割结果。 5.根据权利要求1所述的方法，还包括：将所述待识别路面图像进行路面区域语义分割处理，得到所述待识别路面图像的路面区域分割结果。 6.根据权利要求5所述的方法，其中，所述基于对抗学习的方法，生成所述待识别路面图像的无损路面图像，包括：将所述待识别路面图像和所述路面区域分割结果输入至预设的第二生成器，获得所述待识别路面图像的无损路面图像；所述第二生成器是已经经过训练的第二生成式对抗网络中的生成器，所述生成器的输入为有损图像样本及其路面区域分割结果。 7.根据权利要求5或6所述的方法，其中，所述将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域，并根据所述图像差异区域的特征确定所述待识别路面图像的病害识别结果，包括：将所述无损路面图像、所述待识别路面图像和所述路面区域分割结果输入至预设的第二路面病害识别模型；所述第二路面病害识别模型已经学习得到基于样本路面区域分割结果识别样本图像差异的能力以及样本图像差异区域与路面病害类别的映射关系；基于所述第二路面病害识别模型，采用所述路面区域分割结果将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域；基于所述第二路面病害识别模型提取所述图像差异区域的特征；基于所述第二路面病害识别模型和所述特征，确定所述待识别路面图像的病害识别结果。 8.一种图像处理模型训练方法，其中，所述图像处理模型包括预设的路面区域分割模块、预设的无损图像生成模块和路面病害识别模块，所述方法包括：获取路面图像样本；将所述路面图像样本输入至所述路面区域分割模块，获得所述路面图像样本的样本路面区域分割结果；将所述路面图像样本和所述样本路面区域分割结果输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；将所述路面图像样本、所述无损路面图像样本和所述样本路面区域分割结果输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 9.一种图像处理模型训练方法，其中，所述图像处理模型包括预设的路面区域分割模块、预设的无损图像生成模块和路面病害识别模块，所述方法包括：获取路面图像样本；将所述路面图像样本输入至所述路面区域分割模块，获得所述路面图像样本的样本路面区域分割结果；将所述路面图像样本和所述样本路面区域分割结果输入至所述无损图像生成模块，获得所述待识别路面图像样本的无损路面图像样本；将所述路面图像样本和所述无损路面图像样本输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 10.一种图像处理模型训练方法，其中，所述图像处理模型包括预设的路面区域分割模块、预设的无损图像生成模块和路面病害识别模块，所述方法包括：获取路面图像样本；将所述路面图像样本输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；将所述路面图像样本输入至所述路面区域分割模块，获得所述路面图像样本的样本路面区域分割结果；将所述路面图像样本、所述无损路面图像样本和所述样本路面区域分割结果输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 11.一种图像处理模型训练方法，其中，所述图像处理模型包括预设的无损图像生成模块和路面病害识别模块，所述方法包括：获取路面图像样本；将所述路面图像样本输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；将所述路面图像样本和所述无损路面图像样本输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 12.一种路面病害识别装置，包括：获取模块，用于获取待识别路面图像；生成模块，用于基于对抗学习的方法，生成所述待识别路面图像的无损路面图像；识别模块，用于将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域，并根据所述图像差异区域的特征确定所述待识别路面图像的病害识别结果。 13.根据权利要求12所述的装置，其中，所述生成模块具体用于：将所述待识别路面图像输入至预设的第一生成器，获得所述待识别路面图像的无损路面图像；所述第一生成器是已经经过训练的第一生成式对抗网络中的生成器，所述生成器的输入为待识别有损图像样本。 14.根据权利要求12所述的装置，其中，所述识别模块包括：第一输入单元，用于将所述无损路面图像和所述待识别路面图像输入至预设的第一路面病害识别模型；所述第一路面病害识别模型已经学习得到样本图像差异区域的识别能力以及样本图像差异区域与路面病害类别的映射关系；第一确定单元，用于基于所述第一路面病害识别模型将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域；第一提取单元，用于基于所述第一路面病害识别模型提取所述图像差异区域的特征；第二确定单元，用于基于所述第一路面病害识别模型和所述特征，确定所述待识别路面图像的病害识别结果。 15.根据权利要求14所述的装置，其中，所述第二确定单元具体用于：基于所述第一路面病害识别模型，采用实例分割方法对所述特征进行实例分割，获得所述待识别路面图像的包围框以及实例分割结果。 16.根据权利要求12所述的装置，还包括：分割模块，用于将所述待识别路面图像进行路面区域语义分割处理，得到所述待识别路面图像的路面区域分割结果。 17.根据权利要求16所述的装置，其中，所述生成模块具体用于：将所述待识别路面图像和所述路面区域分割结果输入至预设的第二生成器，获得所述待识别路面图像的无损路面图像；所述第二生成器是已经经过训练的第二生成式对抗网络中的生成器，所述生成器的输入为待识别有损图像样本及其路面区域分割结果。 18.根据权利要求16或17所述的装置，其中，所述识别模块包括：第二输入单元，用于将所述无损路面图像、所述待识别路面图像和所述路面区域分割结果输入至预设的第二路面病害识别模型；所述第二路面病害识别模型已经学习得到基于样本路面区域分割结果识别样本图像差异的能力以及样本图像差异区域与路面病害类别的映射关系；第三确定单元，用于基于所述第二路面病害识别模型，采用所述路面区域分割结果将所述无损路面图像与所述待识别路面图像进行比对，确定图像差异区域；第二提取单元，用于基于所述第二路面病害识别模型提取所述图像差异区域的特征；第四确定单元，用于基于所述第二路面病害识别模型和所述特征，确定所述待识别路面图像的病害识别结果。 19.一种图像处理模型训练装置，其中，所述图像处理模型包括预设的路面区域分割模块、预设的无损图像生成模块和路面病害识别模块，所述装置包括：第一获取单元，用于获取路面图像样本；第二获取单元，用于将所述路面图像样本输入至所述路面区域分割模块，获得所述路面图像样本的样本路面区域分割结果；第三获取单元，用于将所述路面图像样本和所述样本路面区域分割结果输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；第四获取单元，用于将所述路面图像样本、所述无损路面图像样本和所述样本路面区域分割结果输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；训练单元，用于根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 20.一种图像处理模型训练装置，其中，所述图像处理模型包括预设的路面区域分割模块、预设的无损图像生成模块和路面病害识别模块，所述装置包括：第一获取单元，用于获取路面图像样本；第二获取单元，用于将所述路面图像样本输入至所述路面区域分割模块，获得所述路面图像样本的样本路面区域分割结果；第三获取单元，用于将所述路面图像样本和所述样本路面区域分割结果输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；第四获取单元，用于将所述路面图像样本和所述无损路面图像样本至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；训练单元，用于根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 21.一种图像处理模型训练装置，其中，所述图像处理模型包括预设的路面区域分割模块、预设的无损图像生成模块和路面病害识别模块，所述装置包括：第一获取单元，用于获取路面图像样本；第二获取单元，用于将所述路面图像样本输入至所述路面区域分割模块，获得所述路面图像样本的样本路面区域分割结果；第三获取单元，用于将所述路面图像样本输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；第四获取单元，用于将所述路面图像样本、所述无损路面图像样本和所述样本路面区域分割结果输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；训练单元，用于根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 22.一种图像处理模型训练装置，其中，所述图像处理模型包括预设的无损图像生成模块和路面病害识别模块，所述装置包括：第一获取单元，用于获取路面图像样本；第二获取单元，用于将所述路面图像样本输入至所述无损图像生成模块，获得所述路面图像样本的无损路面图像样本；第三获取单元，用于将所述路面图像样本和所述无损路面图像样本输入至所述路面病害识别模块，获得所述路面图像样本的病害识别结果；训练单元，用于根据所述病害识别结果和所述路面图像样本的真实标签，生成损失值，并根据所述损失值训练所述路面病害识别模块。 23.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法，和/或，执行权利要求8所述的方法，和/或，执行权利要求9所述的方法，和/或，执行权利要求10所述的方法，和/或，执行权利要求11所述的方法。 24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法，和/或，执行权利要求8所述的方法，和/或，执行权利要求9所述的方法，和/或，执行权利要求10所述的方法，和/或，执行权利要求11所述的方法。 25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法，和/或，实现权利要求8所述的方法，和/或，实现权利要求9所述的方法，和/或，实现权利要求10所述的方法，和/或，实现权利要求11所述的方法。
所属类别：	发明专利