详情

原文传递一种轮胎吊机器视觉自动纠偏系统及纠偏方法

专利名称：	一种轮胎吊机器视觉自动纠偏系统及纠偏方法
摘要：	本发明涉及一种轮胎吊机器视觉自动纠偏系统及纠偏方法，采集模块在轮胎吊行进过程中获取规定线路的图像；标定模块获取标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；坐标转换模块实现像素坐标系与实际坐标系之间的转换；预处理模块对采集模块的图像进行处理以获得特征清晰稳定的数据，线路识别模块，通过对图像中规定线路检测识别，确定实际行驶过程中实际线路与规定线路的方向偏差Δα和距离偏差Δd，并发送给PLC通讯模块；PLC通讯模块存储上述数据并发送给轮胎吊控制系统进行纠偏。本发明利用机器视觉技术，实现对轮胎吊大车行进过程的自动纠偏，提高作业效率，减少事故发生。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京航天自动控制研究所
发明人：	刘燕欣;苏晓静;闫涛;许敏;张艺佳;张志良;张伯川;唐波;高琪;高仕博;张聪;郑智辉;肖利平;徐安盛
专利状态：	有效
申请日期：	2019-04-29T00:00:00+0800
发布日期：	2019-07-26T00:00:00+0800
申请号：	CN201910355996.0
公开号：	CN110054089A
代理机构：	中国航天科技专利中心
代理人：	徐辉
分类号：	B66C13/48(2006.01);B;B66;B66C;B66C13
申请人地址：	100854 北京市海淀区北京142信箱402分箱
主权项：	1.一种轮胎吊自动纠偏系统，其特征在于，包括：采集模块，轮胎吊行进过程中获取规定线路的图像；标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；坐标转换模块，实现像素坐标系与实际坐标系之间的转换；预处理模块，对采集模块的图像进行处理进行分割，获得二值化图像；线路识别模块，通过对规定线路检测识别，获取规定线路在像素坐标系下的直线方程，并通过坐标转换模块获取在实际坐标系下的直线方程，确定实际行驶过程中规定线路与预置标准规定线路的方向偏差Δα和距离偏差Δd，并发送给PLC通讯模块； PLC通讯模块存储上述数据并发送给轮胎吊控制系统进行纠偏。 2.根据权利要求1所述轮胎吊自动纠偏系统，其特征在于，采集模块的图像采集装置采用单路或多路摄像头，视场能够同时覆盖到规定线路左右两侧的行车标识线。 3.根据权利要求1所述轮胎吊自动纠偏系统，其特征在于，将标定参照物放置于采集系统视场内，检测并识别器特征部位，保存各个特征部位的像素坐标，保持标定参照物不动，测量识别出的特征部位在实际坐标系下的坐标并保存，并将各个特征部位的像素坐标以及实际坐标系下的坐标传输给坐标转换模块。 4.根据权利要求3所述轮胎吊自动纠偏系统，其特征在于，坐标转换模块根据输入的像素坐标系下的像素坐标，搜索距离该像素坐标最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算该像素坐标的实际位置坐标。 5.根据权利要求4所述轮胎吊自动纠偏系统，其特征在于，预处理模块首先根据实际视场选取感兴趣区域ROI，通过对采样图像做通道分离，获得三个通道的图像数据为My，Mu，Mv；使用大津法OTSU对My进行分割，使用大津法OTSU将My分割成只包含0和1两个像素值的图像My0和My1，得到My0和My1两个区域及其包含像素点的坐标值；分别计算My图像中My0区域和My1区域像素值的均值My0_mean、My1_mean；令My0_mean作为阈值，对My0进行二值化处理；令My1_mean作为阈值，对My1进行二值化处理；并将My0和My1结果重新赋值给Mu；将M0转换成CMYK格式，并提取其中Y通道图像保存为Myellow；Mu和Myellow图像做“或”运算，得到图像Mp，作为预处理模块的输出。 6.根据权利要求5所述轮胎吊自动纠偏系统，其特征在于，线路识别模块获取规定线路在像素坐标系下的直线方程的具体方法为： 5.1统计图像Mp每一列像素值之和，得到大小为C的一列数组Pc；遍历数组Pc，找出像素和最大的两个标号记为Xmax1和Xmax2； 5.2在Mp中以Xmax1和Xmax2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以Xmax1和Xmax2的中心位置为底边中心，Xmax1和Xmax2间距离的1.5倍为窗口长m，以HMp/step的值为窗口高度n，其中HMp为图像Mp的高度，step为统计次数； 5.3滑动窗口W在Mp内滑动step次；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为Pceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以Pceni的x坐标左边为滑动窗口的X向中心坐标； 5.4将step次的Pceni点坐标拟合成直线，并计算各点Pceni到直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该直线即为检测到的规定行车线方程Ls。 7.根据权利要求6所述轮胎吊自动纠偏系统，其特征在于，通过坐标转换模块获取在实际坐标系下的直线方程的具体方法为：取Ls上0.3和0.7长度位置处的两个点，记为P0，P1，搜索距离P1最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标；搜索距离P0最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P0的实际位置坐标；计算实际坐标系下两点所在直线L0的方程。 8.根据权利要求7所述轮胎吊自动纠偏系统，其特征在于，距离偏差Δd的计算方法为：计算预置标准规定线路在摄像头视场最近端的交点距直线L0实际距离dr0，计算△d＝dr0cos(△α)-lp0sin(△α)，lp0为摄像头在地面投影点到摄像头视场最近端的距离。 9.根据权利要求8所述轮胎吊自动纠偏系统，其特征在于，轮胎吊控制系统进行纠偏的方法为：当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进；当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整；当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；当△α＝0，或者△d≤1cm，无需调整。 10.一种基于权利要求1所述装置的轮胎吊自动纠偏系统进行纠偏的方法，其特征在于，包括如下步骤：步骤1：在轮胎吊两侧其任意一侧的下横梁上安装摄像头，用于获取轮胎吊行驶方向上车道线及周围场景图像，摄像头视场应当覆盖该侧规定线路上的左右两条车道线；步骤2：判断纠偏系统使用模式，若轮胎吊自动纠偏系统为首次使用或处于标定模式下，则进入步骤3，若为实时纠偏模式则进入步骤4；步骤3：启动轮胎吊自动纠偏系统的标定模块，存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标；步骤4：纠偏模式下首先调用预处理模块，进行图像分割，获得二值化图像Mp；步骤5：调用纠偏模式的线路识别模块，在二值化图像Mp中检测场区内规定行驶区域内的车道线的特征点的集合；步骤6：将特征点集合中各特征点坐标拟合成直线，并计算各点到拟合直线间距离，并根据距离从小到大排序后，使用排在前的2/3个点重新拟合成直线，该重新拟合的直线即为检测到的规定行车线Ls；步骤7：调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系中；步骤8：线路识别模块计算L0和预置标准规定线路间的夹角，即为方向偏差△α；计算预置标准规定线路在摄像头视场最近端的交点距L0实际距离，记为dr0，进一步计算dr0cos(△α)-lp0sin(△α)的值即为距离偏差△d，lp0为摄像头在地面投影点到摄像头视场最近端的距离。 11.根据权利要求10所述进行纠偏的方法，其特征在于，步骤3中存储标定参照物特征部位分别在像素坐标系和实际坐标系下的坐标的具体方法为： 3.1将棋盘格标定板放置在摄像头视场范围内的路面上，棋盘格标定板尽量多的覆盖视场内的车道线； 3.2轮胎吊自动纠偏系统的标定模块检测棋盘格标定板上所有角点并保存在像素坐标系下的坐标； 3.3人工测量棋盘格标定板上至少三个不位于同一条直线上的角点A、B、C与摄像头在地面投影点O间的实际距离AO、BO、CO，并根据所用棋盘格标定板出厂参数计算所有角点在实际坐标系中的位置坐标并保存； 3.4在像素坐标系下检测标定板上所有角点位置坐标，并保存。 12.根据权利要求11所述进行纠偏的方法，其特征在于，进行图像分割，获得二值化图像Mp的具体方法为： 4.1读取一帧图像数据，根据实际视场选取感兴趣区域ROI，得到R行C列的图像M0； 4.2调用纠偏模式中的预处理模块，将当前帧图像转换成YUV格式或YCrCb格式并分别保存三个通道的图像数据为My，Mu，Mv； 4.3使用大津法OTSU对My进行分割，使用大津法OTSU将My分割成只包含0和1两个像素值的图像My0和My1，得到My0和My1两个区域及其包含像素点的坐标值； 4.4分别计算My图像中My0区域和My1区域像素值的均值My0_mean、My1_mean和方差My0_std、My1_std； 4.5令My0_mean作为阈值，对My0进行二值化处理，若My0某点像素值大于My0_mean则置1，若小于My0_mean则置0，遍历My0所有像素点；令My1_mean作为阈值，对My1进行二值化处理，若My1某点像素值大于My0_mean则置1，若小于My0_mean则置0，遍历My1所有像素点；并将My0和My1结果重新赋值给Mu； 4.6将M0转换成CMYK格式，并提取其中Y通道图像保存为Myellow； 4.7Mu和Myellow图像做“或”运算，去除干扰，得到图像Mp，作为预处理模块的输出。 13.根据权利要求12所述进行纠偏的方法，其特征在于，在二值化图像Mp中检测场区内规定行驶区域内的车道线的特征点的集合的具体步骤如下： 5.1统计图像Mp每一列像素值之和，得到大小为C的一列数组Pc；遍历数组Pc，找出像素和最大的两个标号记为Xmax1和Xmax2； 5.2在Mp中以Xmax1和Xmax2为图像坐标系Y轴坐标最大处的X方向基础搜索点，设置m×n大小的滑动窗口W，使其以Xmax1和Xmax2的中心位置为底边中心，Xmax1和Xmax2间距离的1.5倍为窗口长m，以HMp/step的值为窗口高度n，其中HMp为图像Mp的高度，step为统计次数； 5.3滑动窗口W在Mp内滑动step次；在每个位置统计W内非0像素的个数，保存非0像素的像素坐标，计算所有非0像素点的中心位置坐标，记为Pceni；以此时滑动窗口W的上边界Y向坐标为下一次搜索时滑动窗口的下边界，以Pceni的x坐标左边为滑动窗口的X向中心坐标。 14.根据权利要求13所述进行纠偏的方法，其特征在于，调用坐标转换模块，采用双线性插值法，将Ls转换到实际坐标系的具体方法为：具体方法为：取Ls上0.3和0.7长度位置处的两个点，记为P0，P1，搜索距离P1最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P1的实际位置坐标；搜索距离P0最近的四个角点，读取四个角点的像素坐标和实际坐标，利用双线性插值法计算P0的实际位置坐标；计算实际坐标系下两点所在直线L0的方程。 15.根据权利要求14所述进行纠偏的方法，其特征在于，还包括步骤9，轮胎吊控制系统接收方向偏差△α和距离偏差△d，并进行纠偏控制，具体方法为：当检测出方向偏差△α和距离偏差△d，任何一个超过阈值时，制停轮胎吊的行进；当检测出方向偏差△α和距离偏差△d均未超过阈值时，控制轮胎吊行驶速度进行调整。当△α>0，且△d>1cm时，控制轮胎吊增大右侧轮的行驶速度；当△α0，且△d>1cm时，控制轮胎吊增大左侧轮的行驶速度；当△α＝0，或者△d≤1cm，无需调整。
所属类别：	发明专利