原文传递
基于深度强化学习的无人船多路径跟踪研究
| 论文题名： | 基于深度强化学习的无人船多路径跟踪研究 |
| 关键词： | 无人船;路径跟踪;避障控制;深度强化学习;LSTM |
| 摘要： | 路径跟踪控制作为水面无人船(UnmannedSurfaceVehicle,USV)运动控制的关键技术，是保证USV自主航行质量的重要基础，长期以来都是领域内的研究热点。已有路径跟踪方法多针对单一固定路径跟踪任务展开研究，当任务路径发生变更时，跟踪性能不能得到保证。近年来，人工智能技术飞速发展，越来越多的研究开始将其应用到USV路径跟踪的研究中，其中，深度强化学习方法具有强大的表征与决策能力，在路径跟踪控制中展现出巨大潜力。为此，本文围绕USV多路径跟踪问题，提出基于深度强化学习的G-SAC算法实现多路径跟踪控制。同时，考虑到USV运行水面环境的复杂性，对所提方法进行改进，进一步提出LSTM-GSAC算法实现了障碍物环境下的USV多路径跟踪控制。本文的具体工作及成果如下: 为构建合适的USV模型以完成对控制算法的训练、验证与评估，本文在确立USV运动参考系后，给出了USV六自由度受力与运动描述，并构建包含干扰因素的USV六自由度操纵模型。在此基础上，从USV多路径跟踪任务角度出发，对模型进行简化得到USV三自由度非线性操纵模型。为验证模型的准确性，根据实船数据设计仿真算例,为后续多路径跟踪控制算法的研究奠定基础。 为有效解决USV多路径跟踪问题，提高算法训练过程中不同任务间轨迹经验的复用率，本文基于广义事后经验回放机制，提出G-SAC路径跟踪控制算法，针对于USV多路径跟踪问题进行多任务MDP建模。通过对USV运行轨迹进行重标签的方式，匹配当前轨迹更适合的任务一同存入经验池，有效地增强了轨迹数据在不同任务之间的复用。仿真实验结果表明，基于G-SAC的USV控制器具有良好的训练效率，在多路径跟踪任务上具有最优的跟踪性能。 为保证USV在障碍物环境下仍旧能完成多路径跟踪任务，本文针对USV路径跟踪兼顾自主避障任务的强时序性，引入LSTM网络对G-SAC算法进行改进，提出LSTM-GSAC算法。LSTM-GSAC算法对USV运行的时序信息进行提取与处理，使USV具有一定的自主避障能力。仿真实验结果表明，在障碍物环境下的多路径跟踪任务中，基于LSTM-GSAC算法的USV控制器能够精确地跟踪预定路径并避免障碍物干扰，具有更高的成功率与更好的跟踪效果。 根据USV多路径跟踪仿真功能需求和设计要求，设计并开发了USV智能控制仿真软件。面向操作人员和研究人员，提供USV模型管理、USV控制任务仿真、实时仿真演示、USV状态检测、控制算法模型训练等功能，运行测试展现了软件的有效性。 |
| 作者： | 王子豪 |
| 专业： | 电子信息 |
| 导师： | 宋文 |
| 授予学位： | 硕士 |
| 授予学位单位： | 山东大学 |
| 学位年度： | 2023 |
检索历史
应用推荐
