详情

原文传递一种用于挖掘机的图像识别方法和设备

专利名称：	一种用于挖掘机的图像识别方法和设备
摘要：	本发明涉及图像识别技术领域，特别是涉及一种用于挖掘机的图像识别方法及设备，该图像识别方法包括步骤：(1)通过摄像头获取挖掘机周围环境的图像；(2)采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。本发明有效解决了挖掘机在复杂环境下的破碎工况中石块难以识别的技术问题，使挖掘机能够完成智能驾驶和自动化破碎作业，提高了生产效率。
专利类型：	发明专利
国家地区组织代码：	江苏;32
申请人：	爱克斯维智能科技(苏州)有限公司
发明人：	张彦群;朱玉田
专利状态：	有效
申请日期：	2019-07-17T00:00:00+0800
发布日期：	2019-11-26T00:00:00+0800
申请号：	CN201910646300.X
公开号：	CN110499802A
代理机构：	苏州根号专利代理事务所(普通合伙)
代理人：	项丽
分类号：	E02F9/26(2006.01);E;E02;E02F;E02F9
申请人地址：	215400 江苏省苏州市太仓市科教新城健雄路20号大学科技园一期3号楼301-4室
主权项：	1.一种用于挖掘机的图像识别方法，其特征在于，包括： (1)通过摄像头获取挖掘机周围环境的图像； (2)图像处理器接收所述图像并采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块； (3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面； (4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。 2.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(1)中，采用相机曝光自动调节算法，根据目标拍摄图像的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度。 3.根据权利要求2所述的用于挖掘机的图像识别方法，其特征在于，所述相机曝光自动调节算法为均值法AE。 4.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(2)中，所述Canny边缘检测算法具体包括以下步骤： a)应用高斯滤波器与图像卷积降噪，以平滑图像；所述高斯滤波器的模板K为： b)应用增强算法，将图像中的石块边缘与背景图案有显著变化的点凸显出来； c)应用双阈值检测，获得石块的边缘。 5.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(3)中，所述相机标定具体为通过OpenCV使用平面黑白棋盘来标定摄像机，具体方法为调用findChessboardCorners函数获得棋盘格角点的像素坐标，再调用findcornerSubpix函数获得棋盘格角点的亚像素坐标；调用drawChessboardCorners函数绘制出检测到的棋盘角点，然后使用stereoCalibrate函数完成双目标定。 6.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(4)中，所述立体校正具体为通过OpenCV的stereoRectify函数得到图像校正所需的映射矩阵来完成校正功能；通过调用OpenCV的InitUndistortRectifyMap函数生成图像校正所需的映射矩阵。 7.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(4)中，所述立体匹配和三维重建的方法具体为：利用所述双目视觉系统的左右摄像机分别获取作业目标石块的左右图像，根据左摄像机图像和右摄像机图像的图像坐标，通过OpenCV的立体匹配算法SGBM进行三维坐标计算，得到工作面中的作业目标石块的三维坐标和距离信息。 8.根据权利要求7所述的用于挖掘机的图像识别方法，其特征在于，所述距离信息的获取方法为：所述双目视觉系统的左右摄像机获取的左右图像经过立体匹配后得到视差图，再通过三角形相似原理计算得到作业目标石块的距离。 9.一种用于挖掘机的图像识别设备，包括与挖掘机的中央处理器连接的视觉模块，其特征在于，所述视觉模块包括：双目立体视觉系统，其包括左摄像头和右摄像头，用于获取挖掘机周围环境的图像；图像处理器，用于执行如权利要求1-9任意一项所述的图像识别方法，所述图像处理器与所述中央处理器连接。 10.根据权利要求9所述的一种用于挖掘机的图像识别设备，其特征在于，还包括与所述中央处理器连接的补光光源。
所属类别：	发明专利