详情

原文传递基于图像语义分割的电梯轿厢闲置物品检测的方法

专利名称：	基于图像语义分割的电梯轿厢闲置物品检测的方法
摘要：	本发明公开了一种基于图像语义分割的电梯轿厢闲置物品检测的方法，包括以下步骤：电梯轿厢中的摄像头初次安装完成或后期摄像头角度调整时，通过工具标记出该电梯轿厢地面区域；当电梯门完全关闭时，通过轿厢顶部的摄像头抓取一张图片，获得电梯轿厢地面区域；当门继续保持关闭，设定时间间隔，每隔一段时间进行一次抓图和分析，对轿厢地面区域面积持续测量，并将结果进行保存；利用保存的多次测量结果，比较图像语义分割所得的轿厢地面面积与维保人员标定的地面面积，如果其平均值大于设定阈值，则表示电梯轿厢中存在闲置物品，小于设定阈值，则表示不存在物品；根据检测结果和开关门情况，获得持续关门期间，物品出现的时长。
专利类型：	发明专利
国家地区组织代码：	浙江;33
申请人：	浙江新再灵科技股份有限公司
发明人：	陈清梁;陈国特;王伟;王超;蔡巍伟
专利状态：	有效
申请日期：	2019-06-03T00:00:00+0800
发布日期：	2019-09-20T00:00:00+0800
申请号：	CN201910475403.4
公开号：	CN110255318A
代理机构：	杭州天昊专利代理事务所(特殊普通合伙)
代理人：	董世博
分类号：	B66B5/00(2006.01);B;B66;B66B;B66B5
申请人地址：	310000 浙江省杭州市滨江区(临)东流路1805号2幢五层
主权项：	1.一种基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，包括以下步骤：电梯轿厢中的摄像头初次安装完成或后期摄像头角度调整时，通过工具标记出该电梯轿厢地面区域；当电梯门完全关闭时，通过轿厢顶部的摄像头抓取一张图片，检测图片中是否有人，如果有人，则隔一段时间再利用摄像头抓图来分析是否有人，如果没有人，对抓取的图片进行图像语义分割，获得电梯轿厢地面区域；当门继续保持关闭，设定时间间隔，每隔一段时间进行一次抓图和分析，对轿厢地面区域面积持续测量，并将结果进行保存；利用保存的多次测量结果，比较图像语义分割所得的轿厢地面面积与维保人员标定的地面面积，根据面积的差值，取其绝对值的平均值，如果其平均值大于设定阈值，则表示电梯轿厢中存在闲置物品，小于设定阈值，则表示不存在物品；根据检测结果和开关门情况，获得持续关门期间，物品出现的时长；设定闲置时长，时长大于设定阈值，则被最终认定为物品被闲置。 2.如权利要求1所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，通过控制阈值区分对物品的定义，阈值越大，则物品越大，阈值越小，则物品越小，多次测量取平均值，确保测量准确。 3.如权利要求1所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，后期摄像头角度调整时包括电梯摄像头安装角度的偏离预警，其中电梯摄像头安装角度的偏离预警进一步包括：门状态检测，轿厢顶部摄像头采集图像序列，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置划定后续检测的局部区域，之后对后续图像序列分析划定的局部区域，根据标签之间的距离判断门的开合状态，包括开门、开门中、关门与关门中四个状态，每200ms判断一次状态，门状态改变指由关门到开门，反之也是，当门状态由开门变为关门时输出关门信号，其他状态改变不再输出信号；抓图，利用轿厢顶部摄像头抓取一张电梯图像；有无人检测，利用yolov3检测模型对所抓取图片进行检测，如果能够检测到图像中的人头和遮挡人体的目标框，则说明有人，反之则无人，当输出无人信号时，进行图像分析流程，当输出有人信号时，则需等待下次电梯关门信号；图像语义分割，对抓取的图片进行图像语义分割，获得电梯轿厢地面区域；语义分割网络输出这里定义为两类，分别是轿厢地面和背景。通过收集不同电梯轿厢有无杂物时的数据，通过人工标定出轿厢地面所占像素区域。利用标定后的数据对语义分割网络进行训练，完成训练后，获得语义分割网络模型；由于目标输出两类，这里使用sigmod交叉熵损失函数引导训练，安装部署语义分割模型即可实现输入原始图片，输出对应的mask掩模区域；矩形顶点估计，针对分割得到的电梯轿厢地面区域拟合外接矩形，获得外接矩形的四个顶点位置；倾斜与覆盖率度量，其中，倾斜度量为根据相机安装位置和外接矩形与图片的位置关系，判定使用哪几个顶点与对应的图像边界来测量，如果相机安装在角落，外接矩形与图像边界相交角度大；如果相机安装在中间，外接矩形与图像边界相交角度小，如果外接矩形顶点在图像边界外边，这定义其到对应图像边界的距离为负，反之为正；对于摄像头安装在轿厢顶部内部的一角，通过轿厢底部左右两个点到图像边界的距离以及轿厢底部下部顶点到图像下部边界的距离，来判断电梯摄像头安装是否合适；对于摄像头安装在轿厢顶部内部一边的中间，需要分别利用底部两个顶点到图像底边的距离，以及顶部两个顶点到图像两边的距离来判断摄像头安装是否合适；覆盖率度量定义分割后轿厢底部面积与外接矩形面积占比，获得摄像头对轿厢底部视角的覆盖情况。 4.如权利要求1所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，以上门状态检测、抓图、有无人检测、定时抓图、图像语义分割、面积比较步骤，通过设定的阈值判断时是否有闲置物品。 5.如权利要求3或4所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，对抓取的轿厢内的图片判断是否有人过程中，目标定义为人头和遮挡人体，通过目标检测识别出图片中是否有人头和人体；图像语义分割区域为轿厢底部地面，通过语义分割图片出轿厢地面区域，进而获得其外界矩形，得到四个顶点；门状态识别也利用目标检测的方式，电梯门较高位置会贴有相应告警提示标签，通过检测告警提示标签之间的位置来实现门状态检测。 6.如权利要求4所述的基于图像语义分割的电梯轿厢闲置物品检测的方法，其特征在于，语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，采用U-net的encoder-decoder架构同时借用PSPnet中的spatial pyramid pooling模块组成语义分割网络，采用单模型单尺度的方法，编码部分Encoder输入图片通过4个卷积块，进行4次降采样，然后对16×16的特征图做spatial pyramid pooling操作，将新产生的特征图与之前16×16特征图进行拼接，解码部分Decoder利用1×1的通道卷积，进行通道压缩。利用双线性插值进行上采样，上采样得到特征图与之前32×32特征图进行加和操作，如果之前32×32特征图通道数不一致时，通过1×1的通道卷积调整到一致，后续反复两次这样操作，得到128×128的特征图，之后再做最后一次上采样得到256×256的特征图，通过若干卷积层最终得到2×256×256的预测模板，与标定模板值进行比较，2代表两个类别，分别是轿厢地面和背景。
所属类别：	发明专利