当前位置: 首页> 交通专利数据库 >详情
原文传递 一种基于机器视觉的泡沐在线检测方法
专利名称: 一种基于机器视觉的泡沐在线检测方法
摘要: 本发明公开了一种基于机器视觉的泡沐在线检测方法,包括以下步骤:S1、对泡沐进行拉丝检测;S2、对通过拉丝检测的泡沐进行表面粘性检测;S3、将通过表面粘性检测的泡沐进行打包处理,完成泡沐的在线检测,本发明在生产过程中评估了泡沐的物理性质和应用适用性,有助于提高产品的可靠性。
专利类型: 发明专利
国家地区组织代码: 四川;51
申请人: 四川轻化工大学
发明人: 陈明举;黎弘扬;熊兴中;陈红;陈雨豪;苏勤
专利状态: 有效
申请日期: 2023-08-18T00:00:00+0800
发布日期: 2023-11-17T00:00:00+0800
申请号: CN202311049564.X
公开号: CN117074254A
代理机构: 成都正德明志知识产权代理有限公司
代理人: 刘方正
分类号: G01N13/02;G06T7/00;G06T7/10;G06T5/00;G06T5/50;G06V10/82;G06V10/74;G06V10/764;G01N21/84;G;G01;G06;G01N;G06T;G06V;G01N13;G06T7;G06T5;G06V10;G01N21;G01N13/02;G06T7/00;G06T7/10;G06T5/00;G06T5/50;G06V10/82;G06V10/74;G06V10/764;G01N21/84
申请人地址: 643000 四川省自贡市汇东学苑街180号
主权项: 1.一种基于机器视觉的泡沐在线检测方法,其特征在于,包括以下步骤: S1、对泡沐进行拉丝检测; S2、对通过拉丝检测的泡沐进行表面粘性检测; S3、将通过表面粘性检测的泡沐进行打包处理,完成泡沐的在线检测。 2.根据权利要求1所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S1包括以下分步骤: S11、将机械臂插入泡沐中,并分别拍摄机械臂插入前的泡沐图像和机械臂拔起后的泡沐图像; S12、分别将机械臂插入前的泡沐图像和机械臂拔起后的泡沐图像进行图像分割和二值化处理,得到插入前的二值化图像和拔起后的二值化图像; S13、将插入前的二值化图像和拔起后的二值化图像相减得到拉丝检测图像; S14、根据拉丝检测图像判断图像是否有拉丝: 若有,则等待3分钟后完成泡沫的拉丝检测; 若无,则等待30秒后返回步骤S11。 3.根据权利要求2所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S1中使用改进图像分割模型对机械臂插入前的泡沐图像和机械臂拔起后的泡沐图像进行分割,所述改进图像分割模型对图像的处理方法为: S121、使用SAM模型提取视觉嵌入; S122、使用T5模型获得视觉嵌入相应的语义嵌入; S123、使用跨模态MLP获得语义嵌入的稀疏嵌入; S124、根据视觉嵌入、语义嵌入和稀疏嵌入通过密集注意力获取密集嵌入; S125、将密集嵌入、视觉嵌入、视觉嵌入相应的语义嵌入和作为掩膜解码器的输入,输出掩膜预测结果,并将使用得分最高的掩膜预测结果作为改进图像分割模型的输出。 4.根据权利要求3所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S121中,提取视觉嵌入的公式为: Fv={ft}t 其中,Fv为ft的集合,表示视觉嵌入,ft是It的特征映射,表示It的稠密特征向量,It为输入SAM模型的图像,R为图像的总像素数,H0为图像的高度,Cv为图像的通道数,W0为图像的宽度。 5.根据权利要求4所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S122中,获取视觉嵌入相应的语义嵌入的公式为: 其中,Fe为视觉嵌入相应的语义嵌入,Et为文本编码操作,E为给定的文本单词,L为单词个数,Ce为嵌入相应的语义嵌入的维度。 6.根据权利要求5所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤123中,获得语义嵌入的稀疏嵌入的公式为: 其中,Fsparse为fts的集合,表示语义嵌入的稀疏嵌入;Ls(.)为跨模态MLP操作,为目标边界框的稀疏特征向量,fts为第t帧的稀疏特征向量。 7.根据权利要求6所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S124包括以下分步骤: S1241、将和Fsparse进行拼接得到固定特征Ffix,其公式为: 其中,Cat表示将前后参数进行拼接; S1242、将固定特征Ffix和视觉嵌入Fv进行相似性计算,得到空间注意力Fsp; S1243、将固定特征Ffix和空间注意力Fsp进行点积运算,得到空间语言注意力Fsl; S1244、将空间语言注意力Fsl和视觉嵌入Fv进行拼接,并应用一个卷积层减少通道数,使其与视觉嵌入的通道维度相匹配,得到密集嵌入Fdense,其公式为: Fdense=Conυ(FslCatFυ)。 8.根据权利要求1所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S2包括以下分步骤: S21、使用机械臂碰触泡沐表面,并分别拍摄机械臂碰触前的泡沐图像和机械臂碰触后的泡沐图像; S22、将机械臂碰触前的泡沐图像和机械臂碰触后的泡沐图像转换为灰度图像,并计算两幅灰度图像之间的结构相似性,得到相似性分数和差异图像; S23、将差异图像进行归一化,转换为uint8类型的图像后转换为二值图像; S24、通过基于Suzuki的链码编码方法来跟踪二值图像并提取轮廓; S25、遍历轮廓,计算轮廓的边界框,并在新的空白图像上绘制表示两幅图像差异的边界框,得到带有边界框的差异图像; 其中,两幅图像为机械臂碰触前的泡沐图像和机械臂碰触后的泡沐图像; S26、根据带有边界框的差异图像判断泡沐表面是否有粘性: 若无,则等待30秒后返回步骤S21; 若有,则完成泡沐表面粘性检测。 9.根据权利要求8所述的基于机器视觉的泡沐在线检测方法,其特征在于,所述步骤S22中计算结构相似性的公式为: 其中,I1和I2分别表示计算SSIM的两张图像,和/>表示两张图像的均值,/>和/>表示图像I1和I2的标准差,/>表示图像I1和I2的协方差,c1和c2表示两个稳定常数。
所属类别: 发明专利
检索历史
应用推荐