详情

原文传递基于红外热成像和计算机视觉的轨道故障检测方法及系统

专利名称：	基于红外热成像和计算机视觉的轨道故障检测方法及系统
摘要：	本发明公开了一种基于红外热成像和计算机视觉的轨道故障检测方法及系统，该方法的步骤为：无人机进行电车轨道图像采集；地面站接收高清摄像头图像数据进行图像预处理；对槽内较暗区域和槽外较亮区域进行两次多阈值轨道区域分割，依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像；红外热像图进行灰度化，采用相对温差法提取轨道上的高温区；预处理后的图像与轨道检测窗口叠加，掩膜得到感兴趣区域，感兴趣区域进行边缘闭合判断和填充得到连通区域，筛选连通区域得到疑似轨道异物；疑似轨道异物输入BP神经网络进行识别，得到异物分类结果。本发明实时进行轨道异物识别和温度检测，减少轨道交通的事故发生率，提高电车运行安全性。
专利类型：	发明专利
国家地区组织代码：	广东;44
申请人：	暨南大学
发明人：	李伟华;张敏;佘佳俊;杨皓然;梁祖懿;雷英佳;张泽恒;谭铭濠
专利状态：	有效
申请日期：	2019-06-13T00:00:00+0800
发布日期：	2019-09-20T00:00:00+0800
申请号：	CN201910509281.6
公开号：	CN110261436A
代理机构：	广州市华学知识产权代理有限公司
代理人：	李斌
分类号：	G01N25/72(2006.01);G;G01;G01N;G01N25
申请人地址：	510632 广东省广州市天河区黄埔大道西601号
主权项：	1.一种基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，包括下述步骤： S1：将高清摄像头和红外热成像仪安装在无人机上，无人机巡检过程中将获取到的轨道图像实时传回地面站； S2：图像预处理：地面站接收高清摄像头图像数据，进行图像预处理，所述图像预处理包括图像灰度化、图像滤波、图像加强和边缘检测； S3：提取轨道图像：采用轨道槽内较暗灰度阈值对高清摄像头图像数据进行一次分割后，再采用轨道槽外较亮灰度阈值进行分割，最后依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像； S4：红外温度检测：根据提取出的轨道图像在高清摄像头采集到的原图中的位置信息，结合红外热成像仪和高清摄像头的位置和角度关系得到红外热像图中对应的轨道位置，并将红外成热像仪接收到的红外热像图灰度化，提取灰度值，采用相对温差法判断轨道上是否存在高温区，若存在则提取高温区并计算区域面积和最高温度点； S5：疑似轨道异物筛选：将预处理后的图像与提取得到的轨道图像进行叠加，掩膜得到感兴趣区域，对感兴趣区域进行边缘闭合判断和填充，得到连通区域，对连通区域进行筛选，得到疑似轨道异物； S6：轨道异物识别：将疑似轨道异物输入BP神经网络中进行识别，得到异物分类结果。 2.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S2中所述图像预处理包括图像灰度化、图像滤波、图像加强和图像边缘检测，具体步骤为： S21：高清摄像头采集到彩色图像，进行灰度化处理后，得到图像Pgray，表示为： Pgray＝0.30R+0.59G+0.11B；其中，R表示彩色图像中的红色分量的像素值，G表示彩色图像中绿色分量的像素值，B表示彩色图像中的蓝色分量的像素值； S22：采用离散高斯滤波函数进行图像滤波，对图像进行加权平均，采用高斯模板扫描图像中的每个像素点，用像素邻域的加权均值替代高斯模板中心的灰度值，所述离散高斯滤波函数H(i，j)为：其中，(i，j)表示邻域内一点的坐标，δ表示标准差； S23：改变图像像素灰度值进行图像加强，处理后的图像像素值为g(x，y)，表示为： g(x，y)＝[f(x，y)]2；其中，f(x，y)表示经图像灰度化和图像滤波处理后的图像在(x，y)点处的像素值，图像灰度范围为[0，255]，如果计算的结果g(x，y)超过255，则设定为255； S24：选取Canny检测算子进行图像边缘检测：先用高斯掩模和经图像灰度化和图像滤波处理后的图像做卷积运算，单个像素的信息不变，然后用一阶偏导差分计算梯度的幅值和方向，再用梯度幅值进行非极大值的抑制，最后用双阈值法检测和连接图像边缘，所述梯度的幅值和方向分别表示为：其中，Sx、Sy分别代表x，y方向上的图像灰度的偏导数。 3.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S3中所述采用轨道槽内较暗灰度阈值对高清摄像头图像数据进行一次分割后，再采用轨道槽外较亮灰度阈值进行分割，具体的计算公式为：其中，f(x，y)表示预处理后的灰度图像，TL表示槽内较暗区域灰度最小值，TH表示槽外较亮区域灰度最大值，分别表示TL和TH上下波动的灰度级范围；所述依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像，具体步骤为：对槽内较暗区域二值图gL(x，y)和槽外较亮区域二值图gH(x，y)进行膨胀得到对应区域分割二值图和并求解交集，得到轨道区域分割二值图gu(x，y)，表示为：在轨道区域分割二值图gu(x，y)上确定两侧轨道的起始像素点，跟踪获取轨道上的多个像素点，得到多条轨迹线，从多条轨迹线中提取出两侧轨道的轨迹线，采用最小二乘分段进行二次拟合，构造轨道方程，得到提取的轨道图像。 4.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S4红外温度检测中所述相对温差法，具体步骤为： S41：读取红外热成像仪的显示屏上温度值； S42：将红外热成像图灰度化处理，得到亮度值的信息矩阵； S43：将温度值与灰度值设置映射关系表示为：其中，G表示灰度值，T表示温度； S44：对检测到的轨道温度结果与轨道正常工作时的温度值进行对比，采用曲线拟合得到轨道温度变化趋势，根据温度和灰度的映射关系，以灰度值代替温度值，得到灰度阈值； S45：通过灰度阈值对故障区域进行分割，设定不同的灰度值，并采用边缘检测提取出超过灰度阈值的故障区域，将故障区域内的像素计数得到区域面积，比较灰度值的大小得到最大灰度值像素点，得到最高温度点。 5.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S5所述将预处理后的图像与提取得到的轨道图像进行叠加，叠加公式为： S(i，j)＝R(i，j)&ROI；其中，R(i，j)表示预处理后的图像，ROI表示感兴趣区域，S(i，j)表示运算结果图像；所述对连通区域进行筛选，筛选公式为： DArea≥S； DHeight≥D∩DWidth≥Dlow∩DWidth≤Dhigh；其中，DArea代表连通区域所占像素点的个数，DHeight代表连通区域外包围矩形的高度，DWidth代表连通区域外包围矩形的宽度，S、D、Dlow、Dhigh、DRatio分别代表疑似轨道异物的面积、外接最小矩形的长、外接最小矩形的宽、外接最小矩形的对角线长、矩形度；当筛选公式同时成立时，筛选后的连通区域为疑似轨道异物。 6.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，所述BP神经网络的训练步骤为： S60：数值初始化：设定BP神经网络输入层节点个数n、隐层节点个数l和输出层个数m，设输入层到隐含层的权重为ωij、隐含层到输出层的权重为ωjk、输入层到隐含层的阈值为aj、隐含层到输出层的阈值为bk、学习速率为η和激励函数为g(x)，所述激励函数g(x)采用Sigmoid函数，表示为：其中x为输入矩阵； S61：输入训练样本：将高清摄像头拍摄的轨道图像作为原始图像，获得包括待识别异物的图像样本，进行图像灰度化和二值化处理，得到样本的二值化图像，将获得的样本统一到同样比例的大小，输入到BP神经网络中； S62：判断训练样本是否载入完毕，若载入完毕，执行下一步骤，若未载入完毕，执行步骤S61； S63：设隐含层的输出为Hj，计算隐含层神经元的输出：其中，n为输入层节点个数，ωij为输入层到隐含层的权重，xi为输入矩阵，aj为输入层到隐含层的阈值； S64：设输出层的输出为Ok，计算输出层神经元的输出：其中，l为隐含层节点个数，ωjk为隐含层到输出层的权重，bk为隐含层到输出层的阈值； S65：计算误差：其中，ek为误差，m为输出层节点个数，Yk为期望输出，Ok为输出层的输出； S66：权值更新： ωjk＝ωjk+ηHjek 其中，ωij为输入层到隐含层的权重，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差； S67：阈值更新： bk＝bk+ηek；其中，aj为输入层到隐含层的阈值，bk为隐含层到输出层的阈值，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差； S68：判断相邻的两次误差之间的差是否小于设定值，若小于设定值，BP神经网络训练结束，若不小于设定值，则循环执行步骤S63-S67。 7.一种基于红外热成像和计算机视觉的轨道故障检测系统，其特征在于，包括：无人机和地面站，所述无人机包括主控模块、飞行控制模块、导航模块、无线通信模块和航拍模块，所述主控模块控制导航模块、无线通信模块和航拍模块，所述飞行控制模块用于控制无人机的飞行状态，所述导航模块用于给无人机提供导航、所述无线通信模块用于无人机与地面站进行无线通讯，所述航拍模块用于获取轨道图像，所述航拍模块包括高清摄像头和红外热成像仪；所述地面站包括图像预处理模块、轨道图像提取模块、提取高温区模块、疑似轨道异物筛选模块和轨道异物识别模块，所述图像预处理模块用于将高清摄像头图像数据进行预处理，轨道图像提取模块用于进行多阈值轨道区域分割，提取轨道图像，所述提取高温区模块用于进行相对温差判断，提取红外热像图中的高温区域及最高温度点，所述疑似轨道异物筛选模块用于筛选连通区域，得到疑似轨道异物，所述筛选连通区域为感兴趣区域进行边缘闭合判断和填充后得到，所述轨道异物识别模块设有BP神经网络，用于将疑似轨道异物输入BP神经网络进行识别得到异物分类结果。 8.根据权利要求7所述的基于红外热成像和计算机视觉的轨道故障检测系统，其特征在于，所述BP神经网络设有输入层、隐含层和输出层，所述输入层的输入节点数量设为20个，所述输出层的输出节点数量设为3个，所述隐含层的隐含层节点数量设为：其中，n为隐含层节点数量，ni为输入节点个数，no为输出节点个数，a取[1，10]范围内的常数。
所属类别：	发明专利