原文传递
基于强化学习的AUV任务规划技术研究
| 论文题名： | 基于强化学习的AUV任务规划技术研究 |
| 关键词： | 自主水下航行器;任务规划;体系结构设计;路径规划;多目标点探测;强化学习 |
| 摘要： | 近几年，海洋资源及海洋权益受到人们广泛的关注，AUV作为智能的自主式水下航行器得到了极大的发展。在AUV相关技术中，任务规划是其重要的组成部分，任务规划的结果将直接影响任务完成程度及AUV自身安全。针对AUV的任务规划技术，分别从体系结构设计、航路规划及多目标点探测任务规划进行研究。 为提高海底探测型AUV的智能性及自适应性，完成了“橙鲨”AUV自学习体系结构设计:结合强化学习思想设计学习进化单元，使AUV可以通过和环境交互的方式，提升执行器输出结果的准确性，使AUV不断地在学习过程中提升智能化水平。加入了学习监督单元的设计，可根据AUV所处环境复杂度的不同及学习进程，在线动态调整动作选择策略，使该策略可以更好地和环境相契合，加快学习过程。设计任务分层及重规划单元时，加入了环境空间分层模块设计，通过对作业环境的分层得到不同层次的子任务，重规划模块则根据受突发状况影响的子任务进行任务重规划，提高了规划的精准性、时效性。结合上述单元，完成了“橙鲨”AUV自学习体系结构框架设计。 为解决AUV全局航路规划问题，Q学习模型可以提高AUV的智能水平及规划的合理性，但其中的探索-利用平衡问题影响着规划结果的好坏，探索不足将导致陷入局部最优解，过度探索将降低学习效率。为解决上述问题，提出环境复杂度评估的自适应Q学习方法。通过对环境复杂程度的评估，可以更好地确定探索-利用平衡策略，在规划过程中，根据实际情况不断调整策略，避免陷入局部最优解，加快算法收敛，加快航路规划。为解决路径优化问题，提出了最佳切入角的数学模型，提高了光顺后的航路的合理性及安全性。 为解决AUV多目标点探测任务规划时，现有算法计算量较大、规划时间较长的问题，提出区域划分的分层Q学习算法，将环境状态空间根据目标点所在区域进行划分，得到相应子区域及子任务，将复杂任务转换成较简单的子任务序列，减少了规划的计算量及时间，提高了规划效率。为解决航行过程中目标点突变问题，提出局部代价最小区域模型，设计了在线动态重规划方案，提高了规划的时效性，完成了AUV多目标点探测任务的航路规划及重规划工作。 最后，结合实际海岛环境对提出的学习模型进行评估，结合“长岛”环境进行自适应Q学习模型的仿真实验，采用“长海”环境进行区域划分的分层Q学习模型的仿真实验。通过对仿真结果的分析，验证了提出的学习模型可以优化任务规划的结果，并且能够提高任务规划的效率。 |
| 作者： | 代长安 |
| 专业： | 船舶与海洋结构物设计制造 |
| 导师： | 庞硕 |
| 授予学位： | 硕士 |
| 授予学位单位： | 哈尔滨工程大学 |
| 学位年度： | 2019 |
检索历史
应用推荐
