详情

原文传递一种基于双目视觉的吊车摆角三维测量方法

专利名称：	一种基于双目视觉的吊车摆角三维测量方法
摘要：	本发明公开了一种基于双目视觉的吊车摆角三维测量方法，涉及计算机视觉测量领域，包括以下步骤：S1：安装双目视觉相机，实时采集视频；S2：基于改进后的BP神经网络双目标定方法矫正相机内参，计算相机相对位置关系；S3：根据双目视觉相机获得光斑图像，进行二次标定，以光斑位置建立坐标系，计算与相机坐标系的位置关系；S4：根据左右相机成像结合灰度质心算法，提取光斑亚像素级别重心；S5：将像素坐标转换为三维坐标，结合最小二乘法求解光斑三维坐标值；S6：根据光斑坐标，计算负载摆动角度。本发明利用改进后的BP神经网络双目标定方法提高了测量精度，以负载上光斑三维坐标的位置变化计算负载摆动角度，提高了摆角测量的实时性与准确性。
专利类型：	发明专利
国家地区组织代码：	江苏;32
申请人：	南京工业大学
发明人：	于莉莉;宋恒;欧阳慧珉
专利状态：	有效
申请日期：	2023-08-09T00:00:00+0800
发布日期：	2023-11-17T00:00:00+0800
申请号：	CN202310997802.3
公开号：	CN117068945A
代理机构：	北京圣州专利代理事务所(普通合伙)
代理人：	王宇航
分类号：	B66C13/16;G01B11/26;B66C13/06;G06T7/80;G06N3/084;G06T7/70;B;G;B66;G01;G06;B66C;G01B;G06T;G06N;B66C13;G01B11;G06T7;G06N3;B66C13/16;G01B11/26;B66C13/06;G06T7/80;G06N3/084;G06T7/70
申请人地址：	210000 江苏省南京市浦珠南路30号
主权项：	1.一种基于双目视觉的吊车摆角三维测量方法，其特征在于：包括以下步骤： S1：安装双目视觉相机，实时采集视频； S2：基于改进后的BP神经网络双目标定方法矫正相机内参，计算相机相对位置关系； S3：根据双目视觉相机获得光斑图像，进行二次标定，以光斑位置建立坐标系，计算与相机坐标系的位置关系； S4：根据左右相机成像结合灰度质心算法，提取光斑亚像素级别重心； S5：将像素坐标转换为三维坐标，结合最小二乘法求解光斑三维坐标值； S6：根据光斑坐标，计算负载摆动角度。 2.根据权利要求1所述的一种基于双目视觉的吊车摆角三维测量方法，其特征在于：在步骤S1中，包括以下步骤： S1A：将双目视觉相机通过三角架支撑并水平放置，运动前小车、负载和摆绳处设置在双目视觉相机成像的中间位置，且运动时不超出双目视觉相机的识别区域； S1B：双目视觉相机位置与识别区域距离设置为0.3～2米； S1C：负载上设置有光斑，三个光斑设置呈直角状，三个光斑构成的平面垂直与地面。 3.根据权利要求2所述的一种基于双目视觉的吊车摆角三维测量方法，其特征在于：在步骤S2中，基于改进后的BP神经网络双目标定方法进行双目标定，矫正双目视觉相机的内参，具体步骤如下： S2A：将棋盘图像角度的二维坐标值作为BP神经网络的输入，利用BP神经网络自身固有的正向计算和反向优化权值进行棋盘图像角点的三维世界坐标预测； S2B：通过多组训练集对BP神经网络内部权值进行训练和改变； S2C：拟合并建立二维像素坐标到三维世界坐标支架的关系，得到双目视觉相机的左摄像机的左内参和右摄像机的右内参，左内参描述为：右内参描述为：其中，fx1代表左相机图像水平方向上以像素为单位的焦距，fy2为左相机垂直方向上以像素为单位的焦距，ux1为左相机光轴与图像中心在水平方向上以像素为单位的差距，uy1为左相机光轴与图像中心在垂直方向上以像素为单位的差距，fx2代表右相机图像水平方向上以像素为单位的焦距，fy2为右相机垂直方向上以像素为单位的焦距，ux2为右相机光轴与图像中心在水平方向上以像素为单位的差距，uy2为右相机光轴与图像中心在垂直方向上以像素为单位的差距。 4.根据权利要求3所述的一种基于双目视觉的吊车摆角三维测量方法，其特征在于：在步骤S4中，包括以下步骤： S4A：对图像进行阈值分割； S4B：采取自适应阈值方法，去除高斯白噪声； S4D：得到光斑质心坐标计算公式：其中，光斑质心为图像灰度的重心，图像有两个方向i和j，m和n分别为i和j方向像素的数量，g(i,j)为该位置的像素值，(x,y)为计算后的光斑亚像素值。 5.根据权利要求4所述的一种基于双目视觉的吊车摆角三维测量方法，其特征在于：在步骤S5中，根据像素坐标转换为三维坐标，涉及四个坐标系的转换，具体包括以下步骤： S5A：像素坐标系：图像左上角为坐标原点的坐标系0-uv； S5B：图像坐标系：图像中心点为原点的坐标系O-xy； S5C：相机坐标系：以相机模型聚焦中心为原点，以摄像机光轴oz轴建立三维直角坐标系Oc-XcYcZc； S5D：世界坐标系：以三个光斑构成的直角三角形的直角点为原点，平行于地面的直角边为x轴，垂直于地面的直角边为y轴，深度为z轴建立坐标系Ow-XwYwZw；像素坐标系与图像坐标系的关系为：其中(u,v)为像素坐标，(x,y)为图像坐标，dx，dy为x，y轴上的元距离；相机坐标系与图像坐标系的关系为：其中(x,y)为图像坐标，f是焦距，(xc,yc,zc)为相机坐标系下的坐标；世界坐标系与相机坐标系的关系为：其中(xc,yc,zc)为相机坐标系下的坐标，(xw,yw,zw)为世界坐标系下的坐标。 6.根据权利要求5所述的一种基于双目视觉的吊车摆角三维测量方法，其特征在于：基于转换关系，空间内任意点P在两个摄像机C1与C2上的图像点分别检测，投影矩阵分别为M1与M2，得到如下公式：其中，(u1,v1)与(u2,v2)分别为P1与P2点在各自图像中的齐次坐标；(X,Y,Z,1)为P点在世界坐标系下的其次坐标；对上述公式消去Zc1与Zc2，得到关于X,Y,Z的四个线性方程：根据最小二乘法求出P点的三维坐标(X,Y,Z)。 7.根据权利要求5所述的一种基于双目视觉的吊车摆角三维测量方法，其特征在于：在步骤S6中，根据光斑坐标和角度计算公式计算三维摆角，其中角度计算公式如下所示：其中，移动后在初始坐标系中与原点连线构成Y轴的光斑世界坐标为(X1,Y1,Z1)，移动后的在初始坐标系为原点光斑世界坐标为(X2,Y2,Z2)，θ为平面摆角,δ为纵深摆角。