详情

原文传递一种产品缺陷检测方法、装置与系统

专利名称：	一种产品缺陷检测方法、装置与系统
摘要：	本发明公开一种产品缺陷检测方法、装置与系统。本发明实施例的方法包括：构建包括分类网络、定位检测网络和判断网络的缺陷检测框架，根据分类网络的分类结果设置定位检测网络的数量和判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。
专利类型：	发明专利
申请人：	歌尔股份有限公司
发明人：	刘杰
专利状态：	有效
申请日期：	1900-01-20T00:00:00+0805
发布日期：	1900-01-20T00:00:00+0805
申请号：	CN201911402024.9
公开号：	CN111060520A
代理机构：	北京市隆安律师事务所
代理人：	权鲜枝
分类号：	G01N21/88;G01N21/01;G;G01;G01N;G01N21;G01N21/88;G01N21/01
申请人地址：	261031 山东省潍坊市高新技术产业开发区东方路268号
主权项：	1.一种产品缺陷检测方法，其特征在于，包括：构建缺陷检测框架，所述缺陷检测框架包括分类网络、定位检测网络和判断网络；并根据所述分类网络的分类结果设置所述定位检测网络的数量和所述判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；利用包含不同缺陷类型的产品的样本图像对所述分类网络进行训练，得到能够将所述样本图像中存在的缺陷类型分类的分类网络；在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分类网络对所述产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。 2.根据权利要求1所述的方法，其特征在于，所述分类结果包括：第一种分类结果，检测到所述产品图像中存在第一类缺陷，所述第一类缺陷为所述分类网络对缺陷类型的分类正确率大于第一阈值的缺陷；第二种分类结果，检测到所述产品图像中存在第二类缺陷，所述第二类缺陷为所述分类网络对缺陷类型的分类正确率不大于所述第一阈值的缺陷；第三种分类结果，检测到所述产品图像中不存在缺陷；以及分类结果还包括第四种分类结果，检测到所述产品图像中存在第四类缺陷，第四类缺陷为分类网络能够正确分类的缺陷类型，其中第四类分类结果不关联定位检测网络。 3.根据权利要求2所述的方法，其特征在于，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测，包括：在所述分类网络输出所述第一种分类结果时，利用所述第一种分类结果关联的第一定位检测网络提取所述产品图像中产品纹理所在的多个图像块；利用所述第一定位检测网络计算所述多个图像块中是否存在图像块面积大于预设面积的目标图像块，若存在则生成第一种检测结果，若不存在则生成第二种检测结果；其中，第一种检测结果为检测到用于定位所述第一类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位所述第一类缺陷所在位置的定位框；所述定位框为所述目标图像块的最小外接矩形框；则根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置，包括：利用所述第一定位检测网络输出的检测结果关联的第一判断规则判断所述产品是否存在的第一类缺陷；若为所述第一种检测结果，则确定所述产品存在第一类缺陷，并利用所述定位框标记所述第一类缺陷；若为所述第二种检测结果，则确定所述产品存在第一类缺陷，不标记所述第一类缺陷。 4.根据权利要求2所述的方法，其特征在于，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测，包括：在所述分类网络输出所述第二种分类结果时，利用所述第二种分类结果关联的第二定位检测网络对所述产品图像进行形态学检测；在未检测到用于定位第二类缺陷的定位框时，生成第二种检测结果；在检测到用于定位第二类缺陷的定位框时，判断所述定位框所在产品图像的图像块的第一形状特征是否符合预设条件，若符合则生成第一种检测结果，若不符合则生成第二种检测结果；其中，第一种检测结果为检测到用于定位所述第二类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位所述第二类缺陷所在位置的定位框；所述定位框为第一形状特征符合预设条件的图像块的最小外接矩形框；则根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型并显示缺陷位置，包括：利用所述第二定位检测网络输出的检测结果关联的第二判断规则判断所述产品是否存在的第二类缺陷；在为所述第一种检测结果时，确定所述产品存在第二类缺陷，并利用所述定位框标记所述第二类缺陷；在为所述第二种检测结果时，若所述第二种分类结果的分类数值小于预设分数值，则确定所述产品不存在第二类缺陷；若所述第二种分类结果的分类数值不小于所述预设分数值，则确定所述产品存在第二类缺陷。 5.根据权利要求4所述的方法，其特征在于，利用所述第二种分类结果关联的第二定位检测网络对所述产品图像进行形态学检测，包括：对所述产品图像进行形态学闭合操作处理，并对形态学闭合操作处理后的图像进行二值化处理，对得到的二值图像进行区域检测；在检测到所述二值图像存在连通区域时，确定检测到所述定位框，其中提取所述连通区域对应的所述产品图像的图像块，将所述图像块的最小外接矩形框作为所述定位框；在未检测到所述二值图像存在连通区域时，确定未检测到所述定位框。 6.根据权利要求4所述的方法，其特征在于，判断所述定位框所在的产品图像的图像块的第一形状特征是否符合预设条件，若符合则生成第一种检测结果，反之若不符合则生成第二种检测结果，包括：提取所述定位框对应的图像块的黑白比、面积、平均面积、面积极差、形心与质心之间的距离中的一个或多个作为所述图像块的第一形状特征；若所述图像块的每个第一形状特征均满足其相应的预设条件，生成第一种检测结果；若图像块有一个或一个以上的第一形状特征未满足其相应的预设条件时，生成所述第二种检测结果；其中，在所述黑白比大于黑白比阈值时确定为满足黑白比预设条件，在所述面积大于面积阈值时确定为满足面积预设条件，在所述平均面积大于平均面积阈值时确定为满足平均面积预设条件，在所述面积极差大于面积极差阈值时确定为满足极差预设条件，在所述形心质心之间的距离大于距离阈值时确定为满足距离预设条件；所述黑白比为所述图像块对应的二值化的图像块中黑色像素数量与白色像素点数量的比值，所述平均面积为从所述图像块中提取出的全部连通区域的像素面积的平均值，所述面积极差为从所述图像块中提取出的最大连通区域的像素面积与最小连通区域的像素面积的差值。 7.根据权利要求2所述的方法，其特征在于，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测，包括：在所述分类网络输出所述第三种分类结果时，利用所述第三种分类结果关联的第三定位检测网络提取所述产品图像中产品纹理所在的多个图像块；利用所述第三定位检测网络计算所述多个图像块中是否存在图像块面积大于预设面积的目标图像块，若不存在则生成第二种检测结果；若存在则提取所述目标图像块的第二形状特征，在所述第二形状特征满足预设条件时生成第一种检测结果，在所述第二形状特征不满足预设条件时生成所述第二种检测结果；其中，第一种检测结果为检测到用于定位所述第三类缺陷所在位置的定位框；第二种检测结果为未检测到用于定位所述第三类缺陷所在位置的定位框；所述定位框为所述目标图像块的最小外接矩形框；则根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测缺陷类型并显示缺陷位置，包括：利用所述第三定位检测网络输出的检测结果关联的第三判断规则判断所述产品是否存在的第三类缺陷；若为所述第一种检测结果，则确定所述产品存在第三类缺陷，并利用所述定位框标记所述第三类缺陷；若为所述第二种检测结果，则确定所述产品不存在第三类缺陷。 8.根据权利要求7所述的方法，其特征在于，提取所述目标图像块的第二形状特征，在所述形状特征满足第二预设条件时生成第一种检测结果，在所述形状特征不满足第二预设条件时生成所述第二种检测结果，包括：提取所述目标图像块的面积比、偏心率、朝向角度中的一个或多个作为所述目标图像块的第二形状特征；若所述目标图像块的每个第二形状特征均满足其相应的预设条件，生成第一种检测结果；若所述目标图像块有一个或一个以上的第二形状特征未满足其相应的预设条件，生成所述第二种检测结果；其中，在所述面积比小于面积比阈值时确定为满足面积比预设条件，在所述偏心率小于偏心率阈值时确定为满足偏心率预设条件，在所述朝向角度位于角度阈值区间时确定为满足角度预设条件；所述面积比为所述目标图像块的像素点数量与所述目标图像块的最小外接矩形框所在的产品图像的目标区域的像素点数量的比值，所述偏心率为把所述目标图像块等价成具有相同二阶矩的椭圆的焦距与长轴长度的比值，所述朝向角度为所述椭圆的长轴相对于水平方向的角度。 9.根据权利要求8所述的方法，其特征在于，在所述目标图像块的每个形状特征均满足其相应的预设条件时，所述方法进一步包括：检测所述目标图像块在所述产品图像中的位置，若所述目标图像块位于所述产品图像的边界区域，生成第一种检测结果，若所述目标图像块位于所述产品图像的非边界区域，生成第二种检测结果。 10.一种产品缺陷检测装置，包括：预处理单元，用于构建缺陷检测框架，所述缺陷检测框架包括分类网络、定位检测网络和判断网络；并根据所述分类网络的分类结果设置所述定位检测网络的数量和所述判断网络的判断规则，每个定位检测网络关联一种分类结果，每种判断规则关联一个定位检测网络的检测结果；以及利用包含不同缺陷类型的产品的样本图像对所述分类网络进行训练，得到能够将所述样本图像中存在的缺陷类型正确分类的分类网络；缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分类网络对所述产品图像中的缺陷类型进行分类，根据分类结果关联的定位检测网络对所述产品图像的缺陷进行检测之后，再根据得到的检测结果关联的判断规则判断出产品是否存在的缺陷，并在产品存在缺陷时，检测出缺陷类型及缺陷位置。 11.一种产品缺陷检测系统，包括：存储器和处理器；所述存储器，存储计算机可执行指令；所述处理器，计算机可执行指令在被执行时使所述处理器执行如权利要求1-9任一项所述的产品缺陷检测方法。
所属类别：	发明专利