详情

原文传递自动定位物流托盘的方法及装置

专利名称：	自动定位物流托盘的方法及装置
摘要：	本公开实施例涉及计算机视觉技术，提供一种自动定位物流托盘的方法及装置，其中，方法包括：图像采集步骤，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位步骤，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点；关键点坐标计算步骤，基于托盘孔洞关键点进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定步骤，基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。本实施例提高了叉取物流托盘的准确性。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京旷视科技有限公司
发明人：	陈亚南
专利状态：	有效
申请日期：	2019-03-04T00:00:00+0800
发布日期：	2019-05-24T00:00:00+0800
申请号：	CN201910161770.7
公开号：	CN109795830A
代理机构：	北京钲霖知识产权代理有限公司
代理人：	李强;李静波
分类号：	B65G1/04(2006.01);B;B65;B65G;B65G1
申请人地址：	100190 北京市海淀区科学院南路2号A座313
主权项：	1.一种自动定位物流托盘的方法，其中，包括：图像采集步骤，进行双目RGB图像采集，得到待处理图像，所述待处理图像中包括托盘图像；关键点定位步骤，基于关键点定位网络对所述托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；关键点坐标计算步骤，基于所述托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定步骤，基于所述托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。 2.根据权利要求1所述的方法，其中，所述托盘孔洞关键点包括所述托盘孔洞图像的角点。 3.根据权利要求1所述的方法，其中，所述方法还包括：托盘检测步骤，基于托盘检测网络检测所述待处理图像中的所述托盘图像，得到托盘检测框；所述关键点定位步骤，包括：基于关键点定位网络对所述托盘检测框内的所述托盘图像进行关键点定位，得到多个托盘孔洞关键点。 4.根据权利要求1所述的方法，其中，所述待处理图像包括第一目图像采集设备采集的第一图像，以及第二目图像采集设备采集的第二图像；所述关键点坐标计算步骤还包括：关键点深度计算步骤，对所述第一图像、所述第二图像的视差图采用预设算法进行计算，得到所述托盘孔洞关键点的深度；基于所述托盘孔洞关键点的深度、所述托盘孔洞关键点的像素点坐标计算得到所述托盘孔洞关键点的三维坐标。 5.根据权利要求4所述的方法，其中，所述关键点坐标计算步骤，包括：第一光心直线方程获取步骤，基于所述托盘孔洞关键点分别与第一目光心、第二目光心的连线所在的直线，以及第一目预设坐标系、第二目预设坐标系，获得第一光心直线方程；第二光心直线方程获取步骤，基于所述第一光心直线方程，以及所述第一目预设坐标系与所述第二目预设坐标系之间的旋转矩阵与平移矩阵，获取第二光心直线方程；基于第一光心直线方程与所述第二光心直线方程，获取所述托盘孔洞关键点的三维坐标。 6.根据权利要求4所述的方法，其中，所述第一目图像采集设备、所述第二目图像采集设备平行放置且成像平面共面，第一目图像采集设备对应的第一坐标系与第二目图像采集设备对应的第二坐标系中存在共线坐标轴，且所述第一目图像采集设备、所述第二目图像采集设备的光心之间设置预设间距；所述关键点坐标计算步骤，包括：基于所述预设间距与所述第一目图像采集设备、所述第二目图像采集设备的焦距，以及所述第一图像和第二图像中托盘孔洞关键点像素点坐标，获取所述托盘孔洞关键点的三维坐标。 7.根据权利要求5所述的方法，其中，所述托盘位姿确定步骤，包括：叉车位姿获取步骤，基于所述第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；基于所述叉车位姿，获取所述托盘的三维位姿。 8.根据权利要求3所述的方法，其中，所述方法还包括：待处理图像裁剪步骤，基于所述托盘检测框对所述待处理图像进行裁剪，得到裁剪后的待处理图像；所述关键点定位步骤，基于关键点定位网络对所述裁剪后的待处理图像进行关键点定位，得到多个所述托盘孔洞关键点。 9.一种自动定位物流托盘的装置，其中，包括：图像采集模块，用于进行双目RGB图像采集，得到待处理图像，所述待处理图像中包括托盘图像；关键点定位模块，基于关键点定位网络对所述托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；关键点坐标计算模块，用于基于所述托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定模块，用于基于所述托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。 10.一种自动叉取物流托盘的方法，其中，包括：定位步骤，基于如权利要求1-8所述的自动定位物流托盘的方法获得所述物流托盘的三维位姿；叉取步骤，根据所述物流托盘的所述三维位姿，叉取所述物流托盘。 11.如权利要求10所述的自动叉取物流托盘的方法，其中，所述叉取步骤，包括：托盘孔洞选取步骤，基于货叉的间距选取与所述货叉的间距匹配的所述托盘孔洞，得到待选取托盘孔洞。 12.一种自动叉取物流托盘的叉车，其中，包括叉车本体，并通过如权利要求10或11所述的自动叉取物流托盘的方法自动叉取物流托盘。 13.一种电子设备，其中，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现权利要求1-8任一所述的自动定位物流托盘的方法。 14.一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器执行时，实现权利要求1-8任一所述的自动定位物流托盘的方法。
所属类别：	发明专利