详情

原文传递一种物品自动抓取方法及自动抓取装置

专利名称：	一种物品自动抓取方法及自动抓取装置
摘要：	本发明公开了一种物品自动抓取方法及自动抓取装置，自动抓取方法通过彩色摄像头采集图像，并通过训练后的神经网络实现对最顶部奶粉袋原料的精确识别，再通过计算得到对最顶部奶粉袋的透视向量，由深度摄像头获取的深度图像信息依据透视向量得到对应方向上的深度数据，求出最顶部奶粉袋原料的实际三维坐标。本发明既能准确识别最顶端的奶粉袋原料，又能获得其精确度高的三维坐标，从而令抓取机器人能实现自动抓取最顶部的奶粉袋原料，从上至下依次抓取过程不易出错，可靠性高。
专利类型：	发明专利
国家地区组织代码：	安徽;34
申请人：	芜湖启迪睿视信息技术有限公司
发明人：	胡海舟;张亚芹;王孝奇
专利状态：	有效
申请日期：	2019-07-01T00:00:00+0800
发布日期：	2019-10-18T00:00:00+0800
申请号：	CN201910585286.7
公开号：	CN110342252A
代理机构：	芜湖思诚知识产权代理有限公司
代理人：	郑直
分类号：	B65G47/91(2006.01);B;B65;B65G;B65G47
申请人地址：	241000 安徽省芜湖市弋江区服务外包产业园3号楼18层
主权项：	1.一种物品自动抓取方法，奶粉袋原料(3)堆放在一个承载平面上，并设有自动抓取奶粉袋原料(3)的抓取机器人(2)，其特征在于：彩色摄像头(4)和深度摄像头(5)安装在所述承载平面上方，所述自动抓取方法包括如下步骤： S1、通过彩色摄像头(4)从堆有奶粉袋原料(3)的区域获取图像信息； S2、将所述图像信息送入进行目标识别的神经网络，神经网络从图像信息中识别出位于最顶部的奶粉袋原料(3)，对最顶部的奶粉袋原料(3)进行标记得到该标记范围中心在图像中的平面坐标(x，y)； S3、通过所述平面坐标结合已知的彩色摄像头(4)的参数信息能计算出所述标记范围中心以彩色摄像头(4)为中心在承载平面上的透视投影坐标(X，Y)，透视投影坐标(X，Y)结合彩色摄像头(4)相对所述承载平面的高度H可得到三维向量A(X，Y，H)； S4、通过深度摄像头(5)获取三维向量A(X，Y，H)方向上的最顶部的奶粉袋原料(3)到深度摄像头(5)的深度信息，深度信息与三维向量A(X，Y，H)结合计算出最顶部的奶粉袋原料(3)的实际三维坐标B(X0,Y0 H0)； S5、将实际三维坐标B(X0,Y0 H0)输入抓取机器人(2)，抓取机器人(2)自动将最顶部的奶粉袋原料(3)抓取。 2.根据权利要求1所述的一种物品自动抓取方法，其特征在于：所述彩色摄像头(4)安装后需要在承载平面的设定位置放上棋盘格标定板，通过对拍摄图像中棋盘格内角点的标注获得相应图像上的坐标，再结合棋盘格标定板的实际坐标和已知的彩色摄像头(4)的内参数计算彩色摄像头(4)的外参数，实现对彩色摄像头(4)的标定。 3.根据权利要求2所述的一种物品自动抓取方法，其特征在于：所述神经网络在使用前要在标定彩色摄像头(4)后，通过多种堆叠方式的奶粉袋原料(3)进行拍照形成多个训练样本，对训练样本人工标注出最顶层的奶粉袋原料(3)，并将训练样本输入到目标识别用的神经网络进行识别标注最顶层的奶粉袋原料(3)的训练，直至神经网络的输出结果与人工标注的结果基本一致。 4.根据权利要求3所述的一种物品自动抓取方法，其特征在于：所述彩色摄像头(4)和所述深度摄像头(5)固定安装在承载平面上方同一高度，两者间的水平距离和位置固定，事先测定所述深度摄像头(5)相对所述彩色摄像头(4)的偏差坐标(a，b)，在所述步骤S4中，在获取深度信息前需要首先根据偏差坐标(a，b)在水平方向上对深度摄像头(5)采集的深度图像信息数据进行修正，令彩色摄像头(4)坐标系与深度摄像头(5)坐标系重合。 5.一种物品自动抓取装置，包括所述抓取机器人(2)，其特征在于：还包括输送机构(1)、彩色摄像头(4)和深度摄像头(5)，所述抓取机器人(2)设置与所述输送机构(1)抓取区域的侧边，所述输送机构(1)设有将奶粉袋原料(3)输送到所述抓取区域的移动部件，所述移动部件顶部为所述承载平面，所述输送机构(1)的机架侧面安装有摄像头支架(7)，所述摄像头支架(7)顶部具有悬伸端位于所述抓取区域正上方的摄像头安装板，所述彩色摄像头(4)和所述深度摄像头(5)固定安装在所述摄像头安装板底部，所述彩色摄像头(4)、所述深度摄像头(5)和所述抓取机器人(2)均连接工控机(6)进行数据传输；所述工控机(6)获取彩色摄像头(4)拍摄的图像信息和所述深度摄像头(5)拍摄的深度图像信息，并根据权利要求1-4中任一所述自动抓取方法，向所述抓取机器人(2)发出抓取指令。 6.根据权利要求5所述的一种物品自动抓取装置，其特征在于：所述深度摄像头(5)紧挨着所述彩色摄像头(4)且二者均竖直朝下设置。 7.根据权利要求6所述的一种物品自动抓取装置，其特征在于：所述移动部件为输送带或沿轨道移动的托盘。 8.根据权利要求7所述的一种物品自动抓取装置，其特征在于：所述抓取机器人(2)为多关节机器人，通过PLC连接到所述工控机(6)。
所属类别：	发明专利