详情

原文传递一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置

专利名称：	一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置
摘要：	本发明属于人工智能电梯维保操作规范化指导技术领域，涉及一种基于第一视角视频序列操作评估的电梯维保操作规范化指导装置。该电梯维保操作监测与指导装置包括第一视角视频采集单元、二维码标签生成和张贴校对单元、流程操作评估单元、输出单元和储存单元。本发明设计视频关键帧提取算法，通过提取监测视频的视频关键帧，利用关键帧所构建电梯维保操作间设备的图像组数据库，并且对深度学习训练模块进行正则化，从而获得训练后的电梯维保操作间设备状态模型。在此基础上，依据上下文信息完成流程识别，直接通过该装置即可评估操作规范。本发明有效地减少电梯维修保护过程中的风险，达到真正意义上的智能监测与指导，具有非常高的实用性和可行性。
专利类型：	发明专利
国家地区组织代码：	辽宁;21
申请人：	东北大学
发明人：	王宏宇;贾同;吴成东;李永强;薛宇;马博文
专利状态：	有效
发布日期：	2019-01-01T00:00:00+0800
申请号：	CN201810030607.2
公开号：	CN108275524A
代理机构：	大连理工大学专利中心 21200
代理人：	陈玲玉;梅洪玉
分类号：	B66B5/00(2006.01)I;G06Q10/00(2012.01)I;G06K17/00(2006.01)I;G06N3/04(2006.01)I;G06K9/00(2006.01)I;B;G;B66;G06;B66B;G06Q;G06K;G06N;B66B5;G06Q10;G06K17;G06N3;G06K9;B66B5/00;G06Q10/00;G06K17/00;G06N3/04;G06K9/00
申请人地址：	110169 辽宁省沈阳市浑南区创新路195号
主权项：	1.一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置，其特征在于，包括第一视角视频采集单元、二维码标签生成和张贴校对单元、流程操作评估单元、输出单元和储存单元；所述的第一视角视频采集单元，包括工业相机和视频编码器，用于获取电梯操作间设备的二维码标签并定位电梯操作间设备的锚定区域；采用头戴式工业相机将第一视角采集到的视频信息通过网线传输到视频解码器，同时经网线传输到存储单元进行数据备份；设计视频关键帧提取算法，提取监测视频的视频关键帧；所述的二维码标签生成和张贴校对单元，包括三个模块：二维码生成和张贴模块、拓扑信息提取模块以及二维码张贴校对模块，用于生成电梯维保操作间设备在识别过程中所需的二维码标签；采用标签编码器和标签打印机生成电梯维保操作间设备在识别过程中所需的二维码标签，基于二维码识别算法对区域内二维码进行提取识别并构建二维码所代表设备的控件拓扑结构信息；设计校对模型，针对电梯操作间设备拓扑信息计算二维码的准确度，对张贴结果进行测预评估；所述的流程操作评估单元，包括数据库构建模块、深度学习训练模块、深度学习识别模块、流程分析模块和操作评估模块；流程操作评估单元将电梯维保操作间图像数据库中的设备信息数据传输到深度学习训练模块进行深度学习建模，通过深度学习识别模块识别后，进行流程分析和操作规范评估；其中设备信息包括位置、锚定区域、属性和状态；具体步骤如下：第一步，利用数据库构建模块构建一个用于电梯维保操作间设备的图像组数据库；图像数据库中的所有图像包括：安全手套状态，机柜开、闭状态，电闸的通、断状态，安全锁开、闭状态，仪表所处触点状态，每幅图像包含多种状态，一共5种状态；每类图像的数量通常设置为10000张；所构建的数据库分为两类：训练图像集和测试图像集，其比例为4:1；对每组数据中的每一幅图像进行预处理，过程如下：对每一张图像进行大小归一化，使其分辨率压缩至256×256像素；通过人工手动标注得到训练样本，样本包含图像中二维码标签位置、电梯维保操作间设备锚定区域和电梯维保操作间设备状态、所处流程分类信息、流程操作评估分类信息；第二步，利用深度学习训练模块对数据进行训练；所述的深度学习训练模块分为三部分：预处理、深度神经网络设计和训练；预处理是对图像分辨率的归一化调整；深度神经网络设计是基于多任务深度神经网络构建，包括激活函数、卷积层和池化层，三者顺次连接；训练是将输入层、深度神经网络和全连接层顺次连接，对数据进行训练；最终通过全连接层输出所处流程与流程操作信息；其中：激活函数，用于参数的计算和调整；卷积层是特征提取层，前一层的一个或多个输出与一个或多个大小固定的核心进行卷积产生一个或多个输出；池化层是对卷积层结果进行采样，一方面为后层网络减少输入权重参数的数量以降低计算复杂度，另一方面是使深度神经网络对缩放、移位、旋转具有稳健性；全连接层位于深度神经网络的最后位置，作用是计算网络的输出结果，分类任务中在全连接层训练一个分类器；为避免出现过拟合的现象，对深度学习训练模块进行正则化；由于模型过于复杂，在训练时在对损失函数进行最小化的同时，需要让对参数添加限制，即正则化惩罚项；第三步，深度学习识别模块利用深度学习训练模块建立的模型对二维码标签设备状态的进行位置定位，基于二维码位置完成设备锚定区域获取，进一步识别锚定区域属性和状态信息；第四步，流程分析模块对锚定区域设备的属性分类和状态分类，识别所处流程与评估流程操作规范性，操作规范评估模块对流程操作规范性进行评估，同时将识别结果进行播报和储存；所述的输出单元为语音播报，采用终端音箱设备将流程识别结果、操作评估结果、检测报警以及操作说明适时播报；所述的储存单元包括数据存储模块和结果存储模块，为云盘储存，基于云盘存储设备将实时监测视频、图像以及识别结果进行储存。
所属类别：	发明专利