详情

原文传递一种基于AI与视觉结合的岸桥安全作业控制方法和系统

专利名称：	一种基于AI与视觉结合的岸桥安全作业控制方法和系统
摘要：	本发明公开了一种基于AI与视觉结合的岸桥安全作业控制方法，包括：岸桥启动作业时，实时识别吊具吊起的目标；当识别目标为舱盖板时，输入模型识别出舱盖板的类别和位置信息，计算投影危险区域，并启动人员、集卡识别功能；当识别目标为集装箱时，同样识别位置信息和计算投影危险区域，并启动防压车头识别功能；识别到舱盖板在地面上的投影危险区域中存在人员、集卡或集装箱在在地面上的投影危险区域与集卡车头存在重叠，则主动控制吊具的运动状态，使吊具停止海陆测的移动和停止吊具的下降动作，并通过语音装置通知集卡司机；本发明提供的方法实时性更强、准确性更好、控制性能更优的保护方法，提高了岸桥现场作业的安全性能，减少司机的工作量。
专利类型：	发明专利
国家地区组织代码：	福建;35
申请人：	福建电子口岸股份有限公司
发明人：	林裕山;张强;刘键涛;魏秋新
专利状态：	有效
申请日期：	2021-10-15T00:00:00+0800
发布日期：	2022-03-01T00:00:00+0800
申请号：	CN202111204840.6
公开号：	CN114104980A
代理机构：	厦门市首创君合专利事务所有限公司
代理人：	连耀忠;王婷婷
分类号：	B66C13/48;B66C13/46;B66C13/16;B66C15/04;B66C15/06;G06V20/40;G06V10/20;G06V10/82;G06N3/04;G06N3/08;B;G;B66;G06;B66C;G06V;G06N;B66C13;B66C15;G06V20;G06V10;G06N3;B66C13/48;B66C13/46;B66C13/16;B66C15/04;B66C15/06;G06V20/40;G06V10/20;G06V10/82;G06N3/04;G06N3/08
申请人地址：	361000 福建省厦门市软件园二期观日路44号6楼
主权项：	1.一种基于AI与视觉结合的岸桥安全作业控制方法，其特征在于，包括如下步骤：岸桥启动作业时，实时识别吊具吊起的目标；当识别目标为舱盖板时，输入模型识别出舱盖板的类别和位置信息，计算舱盖板在地面上的投影危险区域，并启动人员、集卡识别功能；当识别目标为集装箱时，输入模型识别出集装箱的位置信息，计算集装箱在地面上的投影危险区域，并启动防压车头识别功能；识别到舱盖板在地面上的投影危险区域中存在人员、集卡，则主动控制吊具的运动状态，使吊具停止海陆测的移动和停止吊具的下降动作，并通过语音装置通知人员、集卡司机；识别到集装箱在在地面上的投影危险区域与集卡车头存在重叠，则主动控制吊具的运动状态，使吊具停止海陆测的移动和停止吊具的下降动作，并通过语音装置通知集卡司机。 2.根据权利要求1所述的一种基于AI与视觉结合的岸桥安全作业控制方法，其特征在于，当识别目标为舱盖板时，输入模型识别出舱盖板的类别和位置信息，具体为：读取摄像头的视频流，将视频流解码为图片，采用摄像头提供的SDK进行视频流的获取；对图片进行预处理，首先进行颜色空间转换，转为BGR颜色空间，然后对图像进行畸变矫正、透视变换和裁剪处理；加载舱盖板预训练模型，将预处理的图片输入到预训练好的Mask R-CNN结合Coordinate Attention神经网络，所述Mask R-CNN结合Coordinate Attention神经网络中的Coordinate Attention注意力模块连接到Mask R-CNN网络中的RoI Align模块的输出后，输出舱盖板的类别与位置信息。 3.根据权利要求2所述的一种基于AI与视觉结合的岸桥安全作业控制方法，其特征在于，Mask R-CNN结合Coordinate Attention神经网络的具体训练过程具体包括：训练数据的准备：获取含有舱盖板的图片，采用深度学习的标注工具对包含吊具舱盖板进行标注，构建舱盖板数据样本库；样本库分类：分为训练集(80％)、验证集(10％)、测试集(10％)；模型训练：构建Mask R-CNN结合Coordinate Attention的神经网络，设置输入图片的大小，调节学习率、设置迭代次数参数，采用训练集进行训练，通过验证集评判训练的模型是否达到最优，最终通过测试集测试得出模型的准确率、召回率。 4.根据权利要求1所述的一种基于AI与视觉结合的岸桥安全作业控制方法，其特征在于，计算舱盖板在地面上的投影危险区域，具体包括：加载舱盖板中心在相机视野最左侧最右侧车道的位置值和图片中对应的像素值，代入公式求解k与b值：y＝kx+b；其中y为在图片中对应的像素值，x为真实的位置值；根据舱盖板在图片中的像素值，通过坐标转换，计算得出舱盖板在地面上投影的危险区域。 5.根据权利要求1所述的一种基于AI与视觉结合的岸桥安全作业控制方法，其特征在于，识别到集装箱在在地面上的投影危险区域与集卡车头存在重叠，具体实现过程为：通过计算集卡车头区域矩形边线与集装箱在地面上的投影危险区域矩形边线进行大小比值计算，判断两个区域是否重叠，重叠则认为吊具会压到集卡车头；计算两个区域的中心值差值，得到吊具与车头的实时真实位置差值。 6.一种基于AI与视觉结合的岸桥安全作业控制系统，其特征在于，包括：目标识别单元：岸桥启动作业时，实时识别吊具吊起的目标；第一目标位置计算单元：当识别目标为舱盖板时，输入模型识别出舱盖板的类别和位置信息，计算舱盖板在地面上的投影危险区域，并启动人员、集卡识别功能；第一目标位置计算单元：当识别目标为集装箱时，输入模型识别出集装箱的位置信息，计算集装箱在地面上的投影危险区域，并启动防压车头识别功能；第一执行单元：识别到舱盖板在地面上的投影危险区域中存在人员、集卡，则主动控制吊具的运动状态，使吊具停止海陆测的移动和停止吊具的下降动作，并通过语音装置通知人员、集卡司机；第二执行单元：识别到集装箱在在地面上的投影危险区域与集卡车头存在重叠，则主动控制吊具的运动状态，使吊具停止海陆测的移动和停止吊具的下降动作，并通过语音装置通知集卡司机。 7.根据权利要求6所述的一种基于AI与视觉结合的岸桥安全作业控制系统，其特征在于，第一目标位置计算单元中，当识别目标为舱盖板时，输入模型识别出舱盖板的类别和位置信息，具体为：读取摄像头的视频流，将视频流解码为图片，采用摄像头提供的SDK进行视频流的获取；对图片进行预处理，首先进行颜色空间转换，转为BGR颜色空间，然后对图像进行畸变矫正、透视变换和裁剪处理；加载舱盖板预训练模型，将预处理的图片输入到预训练好的Mask R-CNN结合Coordinate Attention神经网络，所述Mask R-CNN结合Coordinate Attention神经网络中的Coordinate Attention注意力模块连接到Mask R-CNN网络中的RoI Align模块的输出后，输出舱盖板的类别与位置信息。 8.根据权利要求7所述的一种基于AI与视觉结合的岸桥安全作业控制系统，其特征在于，Mask R-CNN结合Coordinate Attention神经网络的具体训练过程具体包括：训练数据的准备：获取含有舱盖板的图片，采用深度学习的标注工具对包含吊具的舱盖板进行标注，构建舱盖板数据样本库；样本库分类：分为训练集(80％)、验证集(10％)、测试集(10％)；模型训练：构建Mask R-CNN结合Coordinate Attention的神经网络，设置输入图片的大小，调节学习率、设置迭代次数参数，采用训练集进行训练，通过验证集评判训练的模型是否达到最优，最终通过测试集测试得出模型的准确率、召回率。 9.根据权利要求6所述的一种基于AI与视觉结合的岸桥安全作业控制系统，其特征在于，第一目标位置计算单元中，计算舱盖板在地面上的投影危险区域，具体包括：加载舱盖板中心在相机视野最左侧最右侧车道的位置值和图片中对应的像素值，代入公式求解k与b值：y＝kx+b；其中y为在图片中对应的像素值，x为真实的位置值；根据舱盖板在图片中的像素值，通过坐标转换，计算得出舱盖板在地面上投影的危险区域。 10.根据权利要求6所述的一种基于AI与视觉结合的岸桥安全作业控制系统，其特征在于，第二执行单元中，识别到集装箱在在地面上的投影危险区域与集卡车头存在重叠，具体实现过程为：通过计算集卡车头区域矩形边线与集装箱在地面上的投影危险区域矩形边线进行大小比值计算，判断两个区域是否重叠，重叠则认为吊具会压到集卡车头；计算两个区域的中心值差值，得到吊具与车头的实时真实位置差值。
所属类别：	发明专利