详情

原文传递一种烟支外观在线检测方法及其装置

专利名称：	一种烟支外观在线检测方法及其装置
摘要：	本发明涉及烟支外观检测，尤其是一种烟支外观在线检测方法及其装置，包括如下步骤：S1：分别采集卷烟机相应位置上烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像；S2：将采集到的图像传输给图像处理器进行如下处理：S3：当步骤2)中的图像经图像处理器处理后判定好品或坏品，当判定为坏品时图像处理器发出信号给剔除控制器，剔除控制器动作，将坏品烟支剔除；本发明使用的深度学习模型能对缺陷准确分类，可为生产商提供信息排除机械故障和改进生产方案。
专利类型：	发明专利
申请人：	征图新视(江苏)科技股份有限公司
发明人：	王岩松;方志斌;和江镇;杨清鉴;石海军
专利状态：	有效
申请日期：	1900-01-20T08:00:00+0805
发布日期：	1900-01-20T22:00:00+0805
申请号：	CN202010018196.2
公开号：	CN111189837A
代理机构：	常州品益专利代理事务所(普通合伙)
代理人：	乔楠
分类号：	G01N21/88;G;G01;G01N;G01N21;G01N21/88
申请人地址：	213161 江苏省常州市武进经开区西太湖锦华路258-6号
主权项：	1.一种烟支外观在线检测方法，其特征在于：包括如下步骤： S1：通过安装在卷烟机周围的若干相机组件，分别采集卷烟机相应位置上烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像； S2：相机组件的输出端与图像处理控制模组的输入端电连接，相机组件将采集到的烟嘴端面空腔的三维信息图像，烟嘴端面外观图像以及烟支圆周面外观图像，分别传输给图像处理控制模组进行如下处理：烟嘴端面空腔的三维信息图像：通过三维信息图像检测烟嘴空腔深度，判定其为好品或坏品；烟嘴端面外观图像：通过深度学习模型区分无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷，判定其为好品或坏品；烟支圆周面外观图像：通过深度学习模型区分圆周面无缺陷图像、飞沫干扰图像、破损缺陷图像、污渍缺陷图像和夹沫缺陷图像比对，判定其为好品或坏品； S3：当S2中任意一项判定其为坏品时，图像处理控制模组中的图像处理服务器发出信号给采集剔除控制器，采集剔除控制器动作，将坏品烟支剔除；图像处理服务器和显示器电连接，当采集剔除控制器动作时，图像处理服务器向显示器发送坏品信息，并在显示器上显示。 2.如权利要求1所述的一种烟支外观在线检测方法，其特征在于：所述S2中烟嘴端面空腔的三维信息图像为轮廓图或点云图。 3.如权利要求2所述的一种烟支外观在线检测方法，其特征在于：所述轮廓图用于检测烟嘴端面空腔深度的方法如下： ①以完整且无深度缺陷的烟嘴端面空腔轮廓作为模板； ②将采集到的烟嘴端面空腔轮廓图与模板轮廓图匹配，用于定位空腔底部轮廓和顶部轮廓； ③如果匹配失败，则将烟支判断为坏品进行剔除；如果匹配成功，则计算空腔顶部轮廓平均值和空腔底部轮廓平均值，用顶部轮廓平均值减去底部轮廓平均值得到深度值； ④设定合格深度范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围则判定为坏品；所述点云图用于检测烟嘴端面空腔深度的方法如下： Ⅰ：以完整且无深度缺陷的烟嘴端面空腔点云图作为模板； Ⅱ：使用模板匹配算法对采集的烟嘴端面空腔点云图进行定位； Ⅲ：如果定位失败，则将烟支判断为缺陷品进行剔除；如果定位成功，则计算空腔顶部的灰度平均值和空腔底部灰度平均值，计算灰度差值并乘以对应的系数得到深度值； Ⅳ：设定深度合格范围，如果深度值在合格范围之内则判定为好品，如果深度值不在合格范围内则判定为坏品。 4.如权利要求1所述的一种烟支外观在线检测方法，其特征在于：所述S2中烟嘴端面外观图像采用深度学习模型对烟嘴端面外观进行缺陷检测，具体方法如下： ⅰ：对烟嘴端面外观图像进行图像预处理和图像校正； ⅱ：根据校正后的图像划分感兴趣区域； ⅲ：利用感兴趣区域样本集建立模型数据集； ⅳ：通过模型数据集，建立并优化深度学习算法模型； ⅴ：利用深度学习模型对烟支图像进行缺陷检测。 5.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅰ中对烟嘴端面外观图像进行图像预处理和图像校正，方法如下： 1)对相机组件采集到的图像进行直方图均衡化处理； 2)对1)处理后的图像进行中值滤波处理； 3)对2)处理后的图像进行阈值分割和边缘拟合，得到烟嘴端面外圆轮廓； 4)对外圆轮廓进行椭圆拟合得到圆心； 5)根据4)的圆心坐标进行仿射变换，校正图像位置。 6.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅱ中根据校正后的图像划分感兴趣区域，以无缺陷图像的半径和对外圆轮廓进行椭圆拟合得到的圆心，生成圆形区域作为感兴趣区域ROI。 7.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅲ中利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中ROI的样本集包含无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像。 8.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅳ中深度学习算法模型为VGG16，将ROI的样本集带入模型进行训练，VGG16模型的训练过程如下： a)从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果； b)计算相应的实际输出结果Op；在此阶段信息从输入层经过，逐级的变换传送到输出层，这个过程也是网络在完成训练后正常运行时执行的过程，在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵； c)计算实际输出Op与相应的理想输出Yp的差； d)按极小化误差的方法反向传播调整权值矩阵。 9.如权利要求4所述的一种烟支外观在线检测方法，其特征在于：所述ⅴ中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习算法模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。 10.如权利要求1所述的一种烟支外观在线检测方法，其特征在于：所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接。 11.如权利要求1或10所述的一种烟支外观在线检测方法，其特征在于：所述图像处理控制模组在图像处理过程中具有如下步骤：步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像采集卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；步骤2：图像处理：图像处理服务器处理4个相机组件图像得出判别结果；步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。 12.一种烟支外观在线检测装置，其特征在于：包括卷烟机、相机组件和图像处理控制模组，相机组件数量为四组分别设置在卷烟机外侧，且相机镜头对准卷烟机，图像处理控制模组与相机组件电连接，所述相机组件包括用于采集卷烟机相应位置上烟嘴端面空腔三维信息图像的第一相机组件、用于采集卷烟机相应位置上烟嘴端面外观图像的第二相机组件，以及用于采集卷烟机相应位置上烟支圆周面外观图像的第三相机组件和第四相机组件；所述第一相机组件为三角测量型3D相机，3D相机的发射激光与接收激光的角度为10°-30°锐角，3D相机发射的激光线与滚轮上烟支的运动方向成90°，3D相机发射的激光线扫描范围为烟嘴空腔边界到空腔中心；所述第二相机组件由高速面阵CCD相机、镜头、反射镜和环形光源组成，相机镜头通过反射镜对烟嘴端面进行成像得到烟嘴图像，环形光源设置在烟嘴端面与反射镜之间，用于补充环境光；第三相机组件和第四相机组件分别采集烟支的一面图像，两个相机组件采集到的图像交集包含一个烟支的完整圆周面；所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像采集卡和I/O卡，图像采集卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像采集卡电连接，编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像采集卡，图像采集卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的4个相机组件的图像再发送回图像处理服务器，完成图像采集；图像处理服务器处理4个相机组件图像得出判别结果，并将结果发送给图像处理控制模，如果图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；如果图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。
所属类别：	发明专利