详情

原文传递基于改进Transformer算法的金属内部夹杂物检测方法、系统

专利名称：	基于改进Transformer算法的金属内部夹杂物检测方法、系统
摘要：	本申请的实施例提供了一种基于改进Transformer算法的金属内部夹杂物检测方法、系统。该基于改进Transformer算法的金属内部夹杂物检测方法包括：利用水浸式超声C扫成像检测设备，对金属材料进行扫描，得到带噪声与缺陷回波信号的原始超声信号；构建改进的Transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况，以便于采用金属内部夹杂物检测的改进Transformer架构，克服传统夹杂物检测方法易受背景噪声或散射噪声影响检测效果下降的问题。
专利类型：	发明专利
申请人：	陈雄;复旦大学
发明人：	陈雄;房晓鑫
专利状态：	有效
申请日期：	2023-05-18T00:00:00+0800
发布日期：	2023-11-28T00:00:00+0800
申请号：	CN202310563048.2
公开号：	CN117129577A
代理机构：	上海湾谷知识产权代理事务所(普通合伙)
代理人：	倪继祖
分类号：	G01N29/44;G06F18/24;G06F18/10;G06N3/0455;G06N3/08;G01N29/06;G01N29/28;G;G01;G06;G01N;G06F;G06N;G01N29;G06F18;G06N3;G01N29/44;G06F18/24;G06F18/10;G06N3/0455;G06N3/08;G01N29/06;G01N29/28
申请人地址：	200433 上海市杨浦区邯郸路220号;
主权项：	1.一种基于改进Transformer算法的金属内部夹杂物检测方法，其特征在于，包括：利用水浸式超声C扫成像检测设备，对金属材料进行扫描，得到带噪声与缺陷回波信号的原始超声信号；构建改进的Transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况。 2.根据权利要求1所述的方法，其特征在于，所述构建改进的Transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况，包括：依次构建编码器、解码器；根据编码器、解码器依次对异常结果进行训练，其中，构建改进的Transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测；输出异常结果，得到相应金属材料内部的夹杂物情况。 3.根据权利要求1所述的方法，其特征在于，所述构建编码器包括：将原始超声信号进行数据处理；其中，使用结合上下文的一维卷积对输入数据进行处理，分别用核大小为{1，k，1}与步长为1的卷积计算，将输入转换为Q(查询)、K(键)和V(值)，这种位置感知实现使注意力关注局部上下文，使得更相关的特征能够得到匹配。将Q(查询)、K(键)和V(值)输入到降噪自注意力机制模块，计算得到降噪自注意力向量，然后经过归一化(Add&Normalize)；将向量Z经过Feed Forward网络和归一化(Add&Normalize)生成高阶向量R1；将高阶向量R输入到下一个Encoder，经过6个Encoder，生成最终高阶向量R2。 4.根据权利要求3所述的方法，其特征在于，所述将步骤S1中得到的Q(查询)、K(键)和V(值)输入到降噪自注意力机制模块，计算得到降噪自注意力向量，然后经过归一化(Add&Normalize)，包括：降噪注意力机制模块由池化层、两个权值分布的全连接层和两个激活函数层组成；向量Q和K经由全局池化、全连接层、ReLU激活层、全连接层以及sigmoid激活层得到向量Q1和K1；计算Q1与K1的点积再除以根号dk，这里的dk是attention的输出维度大小，计算得到e1，对上述的Attention score值进行softmax转换得到概率值α1(也可以认为是value的系数)了,将上述概率值(α1)乘以对应的v值，每个维度对应相加后便得到了Z1；计算公式如下： 5.根据权利要求4所述的方法，其特征在于，所述构建解码器包括：将原始超声信号进行数据处理后输入到第一层解码器中得到outputs矩阵，用Mask矩阵作用于Outputs矩阵，mask矩阵中元素“1”对应的Outputs单元元素保留原值，“0”对应的Outputs单元元素替换为负极大值。便可得到对应的Attention score的矩阵； Attention score的矩阵经过归一化(Add&Normalize)后的向量作为Query，步骤S4生成的高阶向量作为Key和Value，输入到降噪自注意力机制模块，计算得到降噪自注意力向量，然后经过归一化(Add&Normalize)；向量经过全连接层和sigmoid激活函数，得到输出O；将输出输入到下一层decoder中，经过6个decoder，得到最终结果；根据最终结果构建损失函数，并确定异常结果，以得到相应金属材料内部的夹杂物情况。 6.根据权利要求5所述的方法，其特征在于，所方法还包括：损失函数考虑到当涉及噪声刺激或参数扰动时，不可避免地会出现过拟合和不适定解问题，采用基于L2正则化的稀疏回归对输出权值进行精细学习。 7.根据权利要求6所述的方法，其特征在于，所方法还包括：使用L2范数定义每个解码器的重构损失，具体公式为：式中，其中λ为L2正则化的惩罚参数。为了计算方便，将系数1/L替换为1/2。 8.根据权利要求7所述的方法，其特征在于，所方法还包括：输出O的具体公式为： 9.一种基于改进Transformer算法的金属内部夹杂物检测系统，其特征在于，包括：信号模块，用于利用水浸式超声C扫成像检测设备，对金属材料进行扫描，得到带噪声与缺陷回波信号的原始超声信号；结果模块，用于构建改进的Transformer架构并进行训练，利用训练好的模型对原始超声信号进行异常检测，输出异常结果，得到相应金属材料内部的夹杂物情况。 10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于改进Transformer算法的金属内部夹杂物检测方法。
所属类别：	发明专利