1. 摘要

洋流预测对于自主水下航行器的路径规划和控制至关重要。基于区域物理的预测模型提供了有效的预测，但对于AUV导航所需的实时预测而言，计算成本太高。虽然车辆传感器可以测量电流的空间演变，但时间预测仍然是一个悬而未决的问题，因为现有的具有实时功能的数据驱动模型仅在数据用于开发模型的位置显示有效。我们在本文中提出了两种使用深度学习技术的预测工具，即长短期记忆循环神经网络（RNNLSTM）和转换器（Transformer），可以在任何位置对洋流进行实时原位预测。结果表明LSTM和Transformer在所有测试站点上的平均归一化均方根误差分别为0.10和0.11，标准偏差分别为0.024和0.031。

2. 方法

2.1 深度自回归网络

RNNLSTM和Transformer 是特殊类型的神经网络，常用于seq2seq模型。简单地说，神经网络是一种基于矩阵的算法，用于逼近一个过程，在本文的范围内，该过程被定义为以时间序列作为输入和输出的黑盒函数。由于其通过一系列矩阵运算和非线性激活的通用逼近能力，神经网络近年来成为最先进的数据建模方法。它的核心组件之一是它的权重，它作用于输入并将其转换为输出。具有多维输入和标量输出的神经网络的可视化如图1所示。注意到在每个隐藏节点处都有一个分量 σ，称为激活函数。

图1 神经网络方案及其操作

σ在为模型添加非线性方面起着重要作用，从而使模型能够近似非线性过程。否则，一系列线性矩阵运算可以简化为单个线性矩阵运算，而没有激活的神经网络无法模拟非线性过程。

最初，所有权重都是随机生成的，模拟一个随机过程，无论输入什么，都会输出随机结果。在使用反向传播算法对从真实过程收集的数据进行训练后，神经网络的权重会收敛到可以密切模仿真实过程行为的状态。

2.2 长短期记忆

RNN是神经网络的循环版本，其中输入组件与隐藏输出一起循环输入网络。它的架构类似于每层只有一组权重和偏差的神经网络，但它们的工作方式不同。图2说明了典型RNN的结构及其在操作中的展开。

图2 循环神经网络及其在操作中的展开

LSTM是一种特殊类型的RNN，其隐藏层具有更复杂的架构，在矩阵运算上有几种非线性激活的组合。具体来说，LSTM隐藏层有一个单元、一个输入门、一个输出门和一个遗忘门。这三个门调节进出细胞的信息流，细胞反过来选择性地记忆过去的信息。这一特性使得LSTM特别适合对文本、信号、时间序列等长序列数据进行建模。由于其在解决类似问题方面的效率，LSTM 被尝试作为一种建模和预测洋流的方法。

该文作者提出的LSTM模型由两个顺序连接的LSTM网络组成，每个网络有两个隐藏层，作为编码器和解码器，如图3所示。这是一个典型的基于LSTM 的seq2seq模型。编码器首先对过去的信息进行编码，将数据模式存储在LSTM 单元中。编码器输出结合信息查询随后被送入解码器以产生未来值。

图3 适用于洋流预测的基于长短期记忆的序列到序列模型

2.3 转换器

Transformer是一个具有编码器-解码器结构的神经网络，它完全基于注意力机制。最初为NLP开发，编码器和解码器都使用注意力层和完全连接的前馈层。如图4所示。两层都包含一个残差连接和一个归一化层以改进学习过程。在特定时间处理输入时，该模型使用自注意力来编码有关其他时间步长的信息。因此，输入包括模型依赖性的上下文信息。

图4 适用于洋流预测的转换器模型架构

在该文中，建议使用经过修改的Transformer编码器-解码器结构以适用于时间序列。原始Transformer中使用嵌入层将单词映射到向量。对于时间序列，我们将这一层替换为线性全连接层，将输入向量转换为m维向量。在解码器端使用类似的全连接层将预测转换回物理量。解码器输入首先是一个空的时间序列，在第一个位置有一个预测开始标记。预测是逐步进行的，并将其添加到解码器输入中，以使用注意机制来预测下一个时间步的当前速度和方向以考虑依赖性。

2.4 数据

831个站点的洋流数据是从美国国家海洋和大气管理局(NOAA)网站上的历史站点数据集下载的。在该数据集上，222个站点的数据长度大于2个月。原始数据的采样间隔为6分钟或10分钟。我们估计这是训练和测试Transformer和LSTM 所需的最少数据量，因此将模型的最大时间范围设置为1个月。训练后，两种模型都可以根据1个月的数据预测1个月的洋流。尽管数据仅采集自美国水域，但由于潮汐流的物理特性保持不变，因此预计预测将在全球范围内有效。正则化，即Transformer的dropout、LSTM的dropout和提前停止，使模型能够执行预测，尽管输入数据中存在测量噪声。但是，模型不处理输入中的缺失数据。如果缺失数据间隔小于1小时，线性插值允许模型处理输入数据。

除了上述历史站之外，NOAA目前正在61个站点部署ADCP，这些站点在美国领海的各个站点积极收集洋流数据。这些台站目前正在工作，实时收集和发送数据。数据采样的时间粒度为6分钟。传感器每5-8个月部署一次，然后恢复几个小时以进行维护和检查，这会导致一些数据缺口。

3 结果和讨论

3.1 . 使用历史站点的测量值进行验证

为了更好地理解Transformer和LSTM的预测能力，我们在图5中显示了作为时间函数的速度和方向以35英尺深度处CAB1401站的速度傅立叶变换。CAB1401站位于在缅因州波特兰的港口入口处。我们选择这个台站来说明模型的性能，因为台站CAB1401在35英尺深度的速度NRMSE接近两个模型的全球平均NRMSE。CAB1401站的速度预测与实验测量结果吻合良好。

图5 Transformer (TF)LSTT预测与2014年6月12日至7月12日在波特兰港入口(CAB1401的实验测量结果的比较

4. 结论

深度自回归网络以最先进的精度预测任何位置的洋流速度和方向，而无需使用来自该位置的数据进行训练。 使用注意机制的LSTM循环神经网络和变压器已被修改以处理洋流数据，并使用NOAA的历史站数据集的子集进行训练。两种模型都能够预测领海任何地点1个月的洋流美国使用一个月的测量数据作为输入。LSTM可能是未来部署的更好选择，因为它更容易训练并且在科学和工程社区中更广泛地传播。

值得注意的是，这些模型允许对 AUV 导航的洋流进行实时原位预测。预计 AUV 将在不久的将来广泛部署用于海底测绘。例如，这两种模型都可以用于支持美国的海底测绘专属经济区(EEZ) 和阿拉斯加海岸线。将模型扩展到世界其他地区仍有待评估。两种模型都经过训练，可以学习主要洋流模式，因此应该能够在一定程度上提供世界上任何位置的预测。然而，应考虑在代表区域洋流分布的数据集上重新训练模型以充分利用神经网络的预测能力。

原文信息 

[1] Alexandre Immas, Ninh Do, Mohammad-Reza Alam,Real-time in situ prediction of ocean currents,Ocean Engineering,Volume 228,2021,108922,ISSN 0029-8018,https://doi.org/10.1016/j.oceaneng.2021.108922.译制