详情

原文传递屏幕划痕碎裂检测方法及设备

专利名称：	屏幕划痕碎裂检测方法及设备
摘要：	本发明的目的是提供一种屏幕划痕碎裂检测方法及设备，本发明通过分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框，可以准确识别出手机等设备屏幕上的划痕纹或碎裂纹，可以提高手机等智能设备估价回收等效率。
专利类型：	发明专利
申请人：	上海悦易网络信息技术有限公司
发明人：	陈敏
专利状态：	有效
申请日期：	1900-01-20T21:00:00+0805
发布日期：	1900-01-20T19:00:00+0805
申请号：	CN202010072280.2
公开号：	CN111175318A
代理机构：	上海百一领御专利代理事务所(普通合伙)
代理人：	汪祖乐;邵栋
分类号：	G01N21/956;G;G01;G01N;G01N21;G01N21/956
申请人地址：	200433 上海市杨浦区淞沪路433号1101-1103室
主权项：	1.一种屏幕划痕碎裂检测方法，其中，该方法包括：控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。 2.根据权利要求1所述的方法，其中，所述卷积神经网络为resnext101卷积神经网络。 3.根据权利要求1所述的方法，其中，分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中，目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：基于所述黄色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。 4.根据权利要求3所述的方法，其中，输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。 5.根据权利要求1所述的方法，其中，所述分类神经网络为全连接层分类神经网络。 6.一种屏幕划痕碎裂检测设备，其中，该设备包括：显示拍摄装置，用于控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；特征提取装置，用于将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；识别装置，用于分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。 7.根据权利要求6所述的设备，其中，所述卷积神经网络为resnext101卷积神经网络。 8.根据权利要求6所述的设备，其中，所述识别装置，用于：基于所述黄色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。 9.根据权利要求8所述的设备，其中，所述识别装置，用于：对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。 10.根据权利要求8所述的设备，其中，所述分类神经网络为全连接层分类神经网络。 11.一种基于计算的设备，其中，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。 12.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。
所属类别：	发明专利