详情

原文传递基于自然交互的复杂施工环境下的无人挖掘系统及方法

专利名称：	基于自然交互的复杂施工环境下的无人挖掘系统及方法
摘要：	本发明公开了一种基于自然交互的复杂施工环境下的无人挖掘系统及方法，属于无人挖掘系统领域。该系统及方法根据双手手势控制单元发出的双手手势指令控制全息电子围墙、力反馈单元和无人挖掘机完成相应动作，无人挖掘机利用全息电子围墙单元所示的可视化电子围墙保持与周边环境的安全距离，并在铲斗遇到地下障碍物时利用力反馈单元，将所感知的力的信息通过力感知模块传递给远程操控者，远程操控者通过力模拟模块感知障碍物，并据此通过双手手势控制单元作出下一步挖掘指令。本发明基于手势识别控制，实现远程操控者与无人挖掘机的自然交互，且能对挖掘机动作进行反馈，还能与周边环境交互，提高挖掘工作的安全性，降低现场安全事故发生的概率。
专利类型：	发明专利
国家地区组织代码：	湖北;42
申请人：	华中科技大学
发明人：	丁烈云;周诚;骆汉宾;瞿钰;陈睿;唐斌
专利状态：	有效
申请日期：	2019-03-04T00:00:00+0800
发布日期：	2019-07-05T00:00:00+0800
申请号：	CN201910158743.4
公开号：	CN109972674A
代理机构：	华中科技大学专利中心
代理人：	尚威;李智
分类号：	E02F1/00(2006.01);E;E02;E02F;E02F1
申请人地址：	430074 湖北省武汉市洪山区珞喻路1037号
主权项：	1.一种基于自然交互的复杂施工环境的无人挖掘系统，用于无人挖掘机的自然交互控制，其特征在于，包括：双手手势控制单元、双手手势指令库、力反馈单元、全息电子围墙单元以及显示器；所述双手手势控制单元用于控制所述无人挖掘机工作，包括双手手势识别模块和双手手势解析模块；所述双手手势识别模块用于识别操作者的手势图像并建立手势图像的三维模型并传输至所述双手手势解析模块，所述双手手势解析模块用于根据识别出的手势的三维模型在双手手势指令库中匹配相应的指令；所述力反馈单元用于检测所述无人挖掘机工作时的受力情况并给远程操控者提供力反馈；所述全息电子围墙单元用于安装至所述无人挖掘机上，投射可视化电子围墙划分所述无人挖掘机与周边环境的安全距离；所述显示器用于显示双手手势解析模块建立的手势三维模型和/或所述力反馈单元检测的受力数据。 2.如权利要求1所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述复杂施工环境包括深基坑挖掘工程环境、地下挖掘工程环境、矿山挖掘工程环境。 3.如权利要求1所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述力反馈单元包括力感知模块、力计算模块、力传输模块和力模拟模块；所述力感知模块安装于所述无人挖掘机上，用于检测所述无人挖掘机工作时的受力情况并传输至所述力计算模块；所述力计算模块将计算结果通过所述力传输模块传递至所述力模拟模块；所述力模拟模块位于远程操控端，用于模拟力计算结果，从而向远程操作者反馈无人挖掘机的受力情况。 4.如权利要求1～3任意一项所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述全息电子围墙单元包括投影模块和报警模块；所述投影模块用于按照设定的距离在无人挖掘机周围投影出全息电子围墙；所述报警模块用于挖掘点超出全息电子围墙范围和/或全息电子围墙范围内有风险产生时发出警报。 5.如权利要求4所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述全息电子围墙单元还包括定位模块，所述定位模块用于识别无人挖掘机的方位以及计算电子围墙的具体范围。 6.如权利要求4所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述报警模块通过改变全息电子围墙颜色和/或发出提示音的方式发出警报。 7.一种基于权利要求1～6任意一项所述的无人挖掘系统的无人挖掘方法，用于无人挖掘机的自然交互控制，其特征在于，包括如下步骤：步骤1：获取远程操作者双手手势图像；步骤2：根据获取的双手手势图像识别对应的手势样式，匹配对应的控制指令，然后向无人挖掘机、全息电子围墙单元及力反馈单元发送对应的控制指令，包括：根据识别出的手势样式，在双手手势指令库中匹配相应的控制指令并将所得控制指令发送给所述无人挖掘机，从而控制所述无人挖掘机执行相应的动作；根据识别出的手势样式，在双手手势指令库中匹配相应的控制指令并将所得控制指令发送给所述全息电子围墙单元，实现对全息电子围墙的启动或停止的控制；所述双手手势指令库中预置有双手手势样式与控制指令之间的映射关系；步骤3：无人挖掘机在得到指令后开始挖掘，并通过力反馈单元实时向远程操控者提供挖掘情况；远程操控者实时根据力反馈结果、全息电子围墙显示结果判断是否需要更换控制手势，改变无人挖掘机工作状态。
所属类别：	发明专利