详情

原文传递一种基于深度学习的激光焊接缺陷识别方法、装置及设备

专利名称：	一种基于深度学习的激光焊接缺陷识别方法、装置及设备
摘要：	本发明公开了一种基于深度学习的激光焊接缺陷识别方法、装置、设备及计算机可读存储介质，包括：根据激光焊接过程中采集到的光电信号及正面与侧面拍摄的焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；将目标帧数范围内的光电信号、正面与侧面焊接熔池动态视频转换为光电图像集、正面焊接图像集及侧面焊接图像集；利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对激光焊接缺陷识别网络模型进行训练；利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。本发明所提供的方法、装置、设备及计算机可读存储介质，可以准确判断缺陷及缺陷具体帧数，提高了焊接缺陷识别准确率。
专利类型：	发明专利
国家地区组织代码：	广东;44
申请人：	广东工业大学
发明人：	潘雅灵;游德勇
专利状态：	有效
申请日期：	2019-08-12T00:00:00+0800
发布日期：	2019-11-12T00:00:00+0800
申请号：	CN201910739933.5
公开号：	CN110441329A
代理机构：	北京集佳知识产权代理有限公司
代理人：	王晓坤
分类号：	G01N21/956(2006.01);G;G01;G01N;G01N21
申请人地址：	510060广东省广州市越秀区东风东路729号大院
主权项：	1.一种基于深度学习的激光焊接缺陷识别方法，其特征在于，包括：在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练；利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。 2.如权利要求1所述的方法，其特征在于，所述根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围包括：根据所述光电信号绘制可见光与激光反射光曲线图；动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射曲线图与焊接后的工件图进行比对，确定所述可见光与激光反射曲线图中的焊接缺陷部分所在的初始帧数范围；根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围。 3.如权利要求1所述的方法，其特征在于，所述利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练包括：利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练。 4.如权利要求3所述的方法，其特征在于，所述利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注包括：当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像不存在缺陷时则标注0；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在驼峰缺陷时则标注1；当所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集中的图像存在凹陷缺陷时则标注2。 5.如权利要求3所述的方法，其特征在于，所述预先构建的激光焊接缺陷识别网络模型包括：输入层、多个卷积层、多个池化层、第一全连接层、第二全连接层、分类层、输出层。 6.一种基于深度学习的激光焊接缺陷识别装置，其特征在于，包括：采集拍摄模块，用于在激光焊接目标焊缝的过程中，利用光辐射检测装置采集光电信号，利用高速相机分别从预先搭建的激光焊接平台的正面及侧面拍摄正面焊接熔池动态视频与侧面焊接熔池动态视频；确定模块，用于根据所述光电信号、所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围；转换模块，用于将所述目标帧数范围内的光电信号、正面焊接熔池动态视频及侧面焊接熔池动态视频分别转换为光电图像集、正面焊接图像集及侧面焊接图像集；训练模块，用于利用标注后的光电图像集、正面焊接图像集及侧面焊接图像集对预先构建的激光焊接缺陷识别网络模型进行训练；识别模块，用于利用训练完成后的激光焊接缺陷类型识别模型，在焊接激光过程中进行在线焊接缺陷识别。 7.如权利要求6所述的装置，其特征在于，所述确定模块包括：绘制单元，用于根据所述光电信号绘制可见光与激光反射光曲线图；初始帧数范围确定单元，用于动态调整所述可见光与激光反射光曲线图中的曲线位置与预设初始阈值的大小后，将所述可见光与激光反射曲线图与焊接后的工件图进行比对，确定所述可见光与激光反射曲线图中的焊接缺陷部分所在的初始帧数范围；目标帧数范围确定单元，用于根据所述正面焊接熔池动态视频与所述侧面焊接熔池动态视频，确定焊接缺陷部分所在的目标帧数范围。 8.如权利要求6所述的装置，其特征在于，所述训练模块包括：标注单元，用于利用基于深度学习模型框架的数据标注格式分别对所述光电图像集、所述正面焊接图像集及所述侧面焊接图像集进行标注；划分单元，用于依据预设比例将标注后的光电图像集、正面焊接图像集及侧面焊接图像集划分为训练集、验证集与测试集；交叉验证训练单元，用于利用所述训练集与所述验证集对预先构建的激光焊接缺陷识别网络模型进行交叉验证训练。 9.一种基于深度学习的激光焊接缺陷识别设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于深度学习的激光焊接缺陷识别方法的步骤。 10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于深度学习的激光焊接缺陷识别方法的步骤。
所属类别：	发明专利