详情

原文传递一种智能行李车

专利名称：	一种智能行李车
摘要：	本发明涉及机场、高铁站、商场运输领域，尤其是一种机场智能行李车或者高铁站行李车，也可以扩展到医院、工厂的物料的无人运输等。针对现有系统难以应对动态环境中人流密度比较大的情况，本发明在多传感器融合识别行人和移动目标以及定位和成图方面，相对于现有系统的创新：1)通过各个小车协作形成全局地图，并实时根据各个小车上传的局部环境信息进行更新和精化；2)融合多种传感器(激光雷达、视觉、里程计、惯性测量单元(IMU))，大大提高了定位精度；3)融合视觉和激光雷达，快速有效的识别行人和移动目标；4)自动充电、自主回位，节省了大量人力；5)小车在停放区可以插入式放置，节省了停放空间，整齐有序。整个系统实用性强，易于落地。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京眸视科技有限公司
发明人：	王庆文
专利状态：	有效
申请日期：	2017-10-25T00:00:00+0800
发布日期：	2019-05-03T00:00:00+0800
申请号：	CN201711005491.9
公开号：	CN109703607A
分类号：	B62B3/00(2006.01);B;B62;B62B;B62B3
申请人地址：	100084 北京市海淀区双清路学研大厦B座801
主权项：	1.本发明一种智能行李车，包括主体框架、人机交互系统、控制系统、定位成图和导航系统、视觉跟随和引领系统、避障系统、电源系统、驱动系统，提供人工方式与自动模式的转换，环境地图自动生成、更新、精化功能，定位和导航、视觉引领和跟随、自动回位、自动充电、语音交互、语音对话、语音咨询、USB充电、自动避障、自主值机、在线支付等功能。 2.根据权利要求1，本发明一种智能行李车，具体包括人机交互面板上安装有麦克风，麦克风为左右边部署，每一边同时分为两组，这样共有四组麦克风，形成一个麦克风阵列，用于通过声音确定说话者的位置；面板上有两个USB充电口；两个立柱中间上部为放置小件物品的挂篮；前端挡板和挂篮后板各自安装有一套视觉装置及保护外壳，每套视觉装置包括一个深度摄像头和鱼眼摄像头；挂篮左侧为中央处理机，可以与后台服务器通信，右侧为电源模块；两个立柱下方各自铆接一个控制箱，控制箱内包含电机、单片机、编码器等，连接两个立柱的下方为横轴，横轴通过弹簧与挡板相连，挡板可以绕横轴转动，在无外力情况下永远直立靠在立柱上，可以挡住行李滑落；底盘与行李架成一定夹角，方便后车的前端推开挡板(挡板向前旋转，贴近行李架)，插入两个立柱的中空，节省小车存放的空间；底盘左右两边各部署4个超声波传感器，用于检测左右障碍物；底盘前端下方为激光雷达，与视觉装置和超声波传感器共同提供定位、成图、导航和避障功能，进而提供智能跟随、引领、自动充电、自动归位功能。 3.根据权利要求1，所述主体框架包括行李承重装置和功能框架；所述行李承重装置包括万向轮、驱动轮、轮轴和底盘；所述底盘下安装有激光雷达，万向轮，以及通过轮轴连接的驱动轮；所述功能框架包括两根立柱、行李架、挡板，所述立柱之间为中空，方便小车归拢时候后面小车的头部能够插入立柱之间的中空，节省小车的存放空间；所述立柱顶端两边设置有面板支撑架；所述人机交互面板嵌入两边面板支撑架中，由螺栓固定，并通过数据线和电源线和处理机及电源模块相连。其特征在于，所述挡板通过弹簧套接在横轴上，可以绕横轴转动；所述行李架与底盘有一定的夹角，方便停放时候后车插入前车立柱的中空部分，以节省停放所占用的空间。 4.根据权利要求1，所述控制系统包括有处理机、控制箱里面的下位机等；所述处理机是一台紧凑型计算机，包括足够的计算能力和内存，能够接受视觉数据、激光雷达数据、超声波数据、IMU数据、里程计数据并进行处理，人机数据交互和功能算法处理、定位以及路径规划算法；也能够和后台主机进行通讯，接受后台主机服务器的指令；同时和下位机交互，驱动小车移动；所述下位机为单片机，分别连接电机驱动板和编码器模块，用于运动系统即底层运动的控制。 5.根据权利要求1，所述支付模块指的是通过扫描二维码选择支付方式，使得用户通过租赁的方式获得小车的使用权。支付模块支持多种支付方式包括但不限于微信支付、支付宝、银行卡。 6.根据权利要求1，手推模式和自动模式的切换，其特征在于可通过语音或者触摸屏进行切换：步骤a：当处于跟随和引领模式的时候，客户需要说“运宝，停止”，小车停止后，客户用后握小车的把手(把手上有触觉开关)或者点击触摸屏上的手动、自动转换开关，系统将从“自动”模式转化为“手动”模式，这时候客户手推把手，小车将像现有的行李车一样移动步骤b：如果要从手动模式切换到自动模式，需要客户根据触摸屏进行设置或者按照要求的唤醒词发出语音指示。 7.根据权利要求1，定位、成图功能的实施，其特征在于先是分别通过视觉、IMU、里程计，通过激光雷达、IMU、里程计这两条路径获得小车的位姿和环境信息，然后将这两个结果通过非线性优化融合，获得精度更高的结果。其步骤：步骤a：基于RGB图像的V-SLAM定位。通过提取RGB图像关键帧的ORB特征，前后关键帧的ORB特征进行PnP(Prospective n Points)方法估计前后帧图像之间智能小车的位姿的变化，从而得到智能小车在前后帧之间的移动情况；当小车重新回到先前到过的地方，系统进行回环检测，消除误差的累积，得到纠错以后的小车位置、轨迹及环境地图；步骤b：与里程计和IMU的融合。由于视觉容易受到光线变化的影响，或者在小车快速移动或者转弯的时候，容易发生前后帧图像匹配不成功的情况，本发明集成了IMU和里程计的信息在上述1)步的小车位姿估计和回环检测中，这样能有效解决视觉容易跟丢的问题；步骤c：深度噪声过滤。根据深度图像和RGB图像形成三维点云，根据三维点云的信息区分地面和障碍物，把地面的点云和高于一定高度的点云信息去除，只考虑有可能影响智能小车移动的点云信息；步骤d：通过激光雷达的scan matching方案，取得智能小车的当前位置及环境信息，这个与步骤a)和步骤b)的位姿信息由于不同的数据源和方法，结果不尽一致步骤e：深度信息和激光雷达数据的融合。把步骤c)留下的点云向激光雷达所在的平面进行垂直投影，在同一个激光雷达扫描方向上，如果点云的深度小于激光雷达的深度信息，那么该点云的“点”得以保留；如果点云中的某一点的深度信息大于激光雷达的深度，那么该店被忽略。然后，归拢每一个激光雷达扫描方向上的所有点，求其平均深度，把在平均深度25％-75％的点保留下来，而去掉该范围以外的点；步骤f：将第a)b)d)e)步取得的小车位置，通过非线性优化的方案，进行了多传感器(激光雷达、视觉、IMU和里程计)的融合，这样可以进一步优化智能小车的位姿以及障碍物的信息，得到小车当前时刻的精确的位置信息以及周围障碍物的空间信息。 8.根据权利要求1，导航和避障功能的实施，其特征在于导航的时候监控客户的状态，与客户状态同步并导航和避障：步骤a：通过前述定位功能，同时形成环境的地图信息。客户在地图上选择目的地(通过语音交互或者触摸屏交互均可) 步骤b：系统根据目的地和当前位置，根据当前的系统流量和拥挤状况，规划一条最佳路线步骤c：提醒客户，跟随小车前往目的地步骤d：在带领客户前往目的地的过程中，时刻通过后置摄像头监控客户的跟随情况，如果客户慢下来，那么小车也慢下来；如果客户赶时间走快了，那么小车也相应快速移动；如果客户停止，那么小车也停止；如果客户消失，那么小车将停在原地进行旋转以期发现客户步骤e：在导航过程中，根据当前的激光雷达的扫描信息和视觉特征的提取，并对照当前的全局地图相应区域的局部地图的信息，如果与先前的信息不匹配，那么把相应特征信息回传给地图服务器，地图服务器进行地图的精化和更新。 9.根据权利要求1，避障功能的实施，其特征在于能够支持两种避障方案，即可预测的避障以及突发的意外避障，其步骤：步骤a：一种是可预知的障碍，如从远处走来的行人或者其它行李车或者载人电瓶车，对于这种类型的避障功能，小车会实时监控环境信息，如果在规划路线上出行行人或者其它移动目标，小车会根据定位和行人及移动目标识别模块，估计移动目标的轨迹，提前进行路径规划，避开此移动目标步骤b：对于恶意的冲撞式的障碍物，如从侧面快速插入的移动目标，或者突然扑上来要抓小车的孩子，或者飞来的皮球等，无法提前规划避障路径，小车会采取急停策略，暂时停止移动，同时继续通过激光雷达和视觉识别移动目标的位置和速度，并采取旋转等策略避开移动目标移动的方向，在不发生碰撞的情况下继续移动，并顺利到达目的地。 10.根据权利要求1，说话人定位及语音识别，其特征在于使用麦克风阵列定位说话人的方位，并与基于激光雷达和视觉的定位相结合，切实执行的是所服务的客户的语音指令，而不是非相关人员所发出的其它指令：步骤a：客户使用业务时候，通过视觉识别客户的特征(这里的特征与传统的HOG特征不同，是通过FASTER-CNN识别的行人及移动目标的特征) 步骤b：客户说话的时候，通过控制面板上的麦克风阵列，识别说话人的位置，有效克服机场等环境噪声影响小车接受客户语音指令的问题；步骤c：将上述方位与视觉和激光雷达的定位结果进行二次确认；步骤d：在确定了客户的位置和特征以后，识别所接收的该说话人的语音；步骤e：根据语音识别的结果进行特定的服务。 11.根据权利要求8步骤e，其特征在于能够根据现场智能小车的扫描信息及环境特征，后台地图服务器地图精化以及根据地图的重定位：步骤e81：每个小车在运行的过程中都会根据一定的条件触发上传给后台地图服务器当前的环境信息，触发的条件包括：小车来到某一地点，扫描当前环境，与整体地图进行对比，如果发现不匹配，那么有可能是环境发生了变化如花盆移动、增加了某个地面基础设施等，这时小车会回传当前的扫描信息给服务器；步骤e82：服务器接收到小车的回传，与全局地图进行对比，如果超过一定次数的不匹配或者多个小车对同一区域同时或一定时间内上报给区域与全局地图的不匹配，那么，地图服务器将对全局地图进行更新步骤e83：服务器将更新的区域回传给各个小车步骤e84：小车重定位，是指小车重新加电或者被人为移动到新的位置，小车将自动进行环境扫描，并与自身缓冲的全局地图进行对比，以便确定自身在环境中的当前位置。 12.根据权利要求1，智能跟随功能的特征在于集成了基于视觉的深度学习以及与激光雷达数据的融合，更好的确定行人和移动目标的深度信息：步骤a：识别周围行人(包括特定人，即当前任务的客户)和移动目标步骤b：实时监控他们的深度信息(也就是距离智能小车的距离信息)，那么就可以根据时间维度得出其移动轨迹和速度步骤c：在确定了自身位置和速度以及移动轨迹后，根据上述1)步得出的行人的位置、速度和轨迹，就可以计算人体和行李车之间的距离，控制行李车，保持人体和车之间的距离为固定值步骤d；发出驱动命令给左右控制箱，驱动轮根据指令进行旋转，驱动小车移动步骤e：检测到障碍物时，通过视觉和激光雷达的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行跟随。 13.根据权利要求1，智能引领功能的特征在于集成了基于视觉的深度学习以及与激光雷达数据的融合，更好的确定行人和移动目标的深度信息，在智能导航的基础上，带领客户前行：步骤a：客户选定要前往的目标，并设置为引领模式步骤b：小车按照规划路线行走，判读周围环境信息，进行必要的避障措施步骤c：同时，监控后面跟随客户的位置和移动速度。客户是小车识别出来的所有周围行人和移动目标中的特定人，即它当前的服务对象，需要可以实时监控他(她)的位置和深度信息(也就是距离智能小车的距离信息)，并根据时间维度得出其移动速度步骤d；确定了自身位置和速度以及移动轨迹后，根据上述2)步得出的客户的位置、速度，就可以计算人体和行李车之间的距离，控制行李车，保持客户和车之间的距离为固定值，从而控制自身移动速度，并与客户保持一致的移动节奏；步骤e：发出驱动命令给左右控制箱，驱动轮根据指令进行旋转，驱动小车移动步骤f：检测到障碍物时，通过视觉和激光雷达的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行引领。 14.根据权利要求12步骤a，其特征在于，与现有单纯依靠视觉进行行人和移动目标的检测、跟踪不同，本发明集成了激光雷达的信息：步骤a12-1：通过深度摄像头和鱼眼相机，利用多模态FASTER-CNN算法识别行人和移动目标，为了提高机场航站楼或者高铁站或者超市这种人流密度比较大的动态环境，采用了一种多模态基于FASTER-CNN提取行人及移动目标特征的方法，通过门网络优化每个模态识别的权重，大大提高了行人识别的准确度和速度。步骤a12-2：在识别出每个行人的基础上，本发明还可以识别各个行人之间的社会关系(如家庭、情侣、工作等关系)，根据社会关系形成“群”(group)的概念步骤a12-3：激光雷达采集周围环境中的深度信息，与行人和移动目标的识别信息相对应，这个对应是通过非线性优化的方法来得到的，得出其精确的深度信息。 15.根据权利要求1自动充电功能，其特征在于先从服务器获得最佳的空闲充电桩的位置，到达充电桩附近后进行精确定位：步骤a：行李车自身具有电量检测功能，当电量降低到一定程度以后，小车会上报服务器寻求帮助；步骤b：服务器根据小车的位置和环境中的充电桩的分布，找出最近的可用的充电桩，并指令小车去特定位置寻找空闲的充电桩；步骤c：到达充电桩附近以后，进行精确定位和对准；步骤d：小车回到充电桩进行充电。在充电过程中，小车会拒绝客户的服务请求，并在交互式触摸屏行显示“充电中，暂停服务。。。”的字样。 16.根据权利要求15步骤c，精准定位和对准：步骤c15-1：在每个充电坞的中心和两边设置四个二维码图案，并在后台设置这四个二维码的精确的三维位置坐标；步骤c15-2：深度摄像头的RGB图像识别给二维码，同时其深度图像检测这四个二维码的深度信息；步骤c15-3：小车本地处理机结合深度摄像头在小车的位置，利用四点确定一个空间位置的原则，计算出小车的三维坐标位置；步骤c15-4：对照充电坞的三维位置信息，小车不断微调移动的速度和方向；步骤c15-5：如果小车距离充电坞的距离大于0.05米并且方向角大于1度，那么重复上述过程，直到对接成功。 17.根据权利要求1自动回位功能，其特征在于不但能够回到聚集区域，而且能够插入式停放，大大节省存放空间：步骤a：整个环境会设置一定数量的小车汇集区域。在任意一个时刻，每个小车都会上报自身位置和状态(电量、是否服务中等)给后台调度系统，后台调度系统根据当前的客户数量、客户请求、小车的数量等决定某些小车是否需要回到聚集区域进行待命。步骤b：如果某个小车接到回归聚集区域的命令，它会自动根据当前的位置寻找最近的聚集区域，然后前往。步骤c：小车到达停放区以后，会寻找队列，根据激光雷达和视觉组合定位，确定队列尾部的位置，调整角度和速度，以合适的速度自动停合适的队列后面，并以较慢的速度将自己的头部插入前一辆小车立柱的中间；步骤d：在插入的时候，前车的挡板会被后车推开，挡板是由弹簧控制的，无外力情况下永远直立靠着立柱，当被后车推开是会向前旋转，贴近行李架；步骤e：在插入的时候，深度相机和激光雷达上报与前一辆小车的距离，达到规定距离后停止，这样如同超级商场里面排成一串的购物车一样，可以大大节省占用的空间；步骤f：待小车退出队列时候，随着后车退出，前车的挡板在弹簧的作用下恢复到直立状态。 18.根据权利要求1，服务的唤醒、暂停、终止功能的实施：步骤a：通过人机语音交互，当客户说“运宝，你好！”、“运宝，您好！”、“运宝，过来给我服务！”、“运宝，过来xxxx”等包含上述关键字的时候，系统会自动唤醒，并给客户提供服务步骤b：客户通过语音或者触摸屏交互，旋转服务类型，如智能跟随、引领等模式步骤c：当客户说“运宝，我到了！”、“运宝，谢谢你的服务！”、“运宝，停止！”、“运宝，就这样吧”等包含上述关键字的时候，系统会自动停止，并等待客户的下一个指令步骤d：当处于引领、跟随服务模式时候，即便客户不说话，小车会保持与客户一定的距离，如果客户停止，则小车停止；如果客户前进，在小车前进；如果客户后退，则小车后退。 19.根据权利要求1，所述语音互动模块，与麦克风连接，通过语音控制行李车的启动和停止，实现音乐、视频和新闻的播放，实现天气和航班的查询。本发明采用了开源的语音识别系统，支持基于关键字的识别方法，实时性强，识别准确率高。 20.根据权利要求1，所述咨询模块，利用无线通信装置连接机场服务系统，通过语音互动系统与机场工作人员通信，咨询关于机场的相关信息。所述咨询支持两种发起模式，一种是用户直接拨号；另一种是网络浏览中通过点击网页上的电话号码的链接，发起Click-to-Dial功能的语音对话，对方为客服人员，人工回答。 21.根据权利要求1，所述自动对话模块，在机场无聊的等待中，用户可以和智能行李车进行有趣的语音聊天；通过麦克风接收用户的语音，并在后台对话数据库中找到相应的内容，做出答复。本发明后台建立了一个适合于机场旅行场景的对话系统，能够比较人性化、智能化的与客户对话。同时加入了防止骚扰系统，避免与在与客户的对话中出现不礼貌的词语。
所属类别：	发明专利