双路径循环框架论文解读：用光流引导预测海表温度

海表温度预测需要同时处理两类变化：固定位置上的温度如何随时间升降，以及冷暖结构如何在空间上移动。Peng 等人提出一种双路径循环框架，用 SwinLSTM 提取时空特征，用光流估计温度图案的位移，再把原特征与按位移校正后的特征融合，输出未来的温度图。光流在这里是中间表示，不是最终产品。

本文按研究动机、相关工作、方法流程和实验结果展开。图像均取自原论文，并在图注中标明来源。实验数字来自作者报告，未经独立复现。用于说明位移含义的例子与原论文实验结果分别标注。

论文信息与关键术语

SwinLSTM 来自 Tang 等人 2023 年的 ICCV 论文，原论文以文献 [30] 引用。本文将其作为 SIEM 的四层骨干，并在实验中把它列为对比基线。作者标明的新增部分是运动趋势提取、特征融合，以及二者与骨干的逐层连接。

研究动机：固定格点上的温度序列不够

海表温度是海气相互作用的核心变量，与气候变化、极端天气、渔业和生态保护有关。原论文因此同时设置两个预测尺度：日尺度面向快速波动和异常事件，周尺度面向更长的演变趋势。依据为引言，PDF 第 1—2 页。

建模困难被收成两点。第一，时空是耦合的。同一时刻不同位置相关，同一位置不同时刻也相关，分开建模难以表达演变。第二，驱动是多源且非线性的，包括海气热交换、海水输运与扩散，以及地形对海流和热分布的影响。复杂地形海域更不稳定，跨时间和跨海域都难以泛化。

已有路线各自留下缺口。数值模式有流体和热力基础，但计算成本高，并对初值敏感。纯数据驱动网络能够拟合非线性，LSTM 擅长时间、弱于空间；卷积或图网络补上空间相关之后，仍多把格点当作固定位置。物理约束网络可以提高一致性，但约束是刚性的。原论文认为，在极端或异常海温上，刚性约束可能限制模型跟上非常规变化。

图源：Peng et al.，原论文图 1，PDF 第 2 页。上方为同一区域连续时刻的海表温度，颜色表示温度；下方箭头为运动光流示意。两侧省略号表示序列在图外继续。

图 1 是动机示意图，不是实验结果。上方色块是温度图案，数值单位为摄氏度，大约 25.5—29.5 °C。虚线跟踪一块冷暖结构，椭圆标出局部区域，粗箭头把该区域指到下方的位移场。下方箭头才是光流：朝向表示移动方向，长短表示移动距离。三组箭头大体朝下，但方向并不完全相同，用来说明运动趋势本身也在变化。

因此，光流不是温度强度，也不是对某个深度取样得到的温度图。温度图是输入；光流是从相邻两张温度图估计出的空间位移。它同时包含方向和幅度，但不包含摄氏度。

相关工作：数值模式、时空网络与物理约束

第 II 节把前史分成两类，见 PDF 第 3—4 页。

相关工作的收束判断是：上述物理方法对温度场随时间的动态移动关注不足。本文因此从序列中估计运动信息，而不是再增加一组刚性物理损失。文末提到的扩散式数据增强只是顺带引用，不是本文方法。

整体流程：两条路径在每一层汇合

图源：Peng et al.，原论文图 2，PDF 第 5 页。(a) 为整体网络，包含编码器、SIEM、MTEM、SFFM 和解码器；(b) 为光流估计器内部的空间关联与时间关联。

输入不是单独一帧，而是过去一整段温度图。实验中，日尺度使用过去 10 天，周尺度使用过去 10 周。形式任务是由历史序列预测未来序列：

其中 $\alpha$ 为输入帧数，$\beta$ 为预测帧数，$t$ 为当前时刻。每一帧是一张 $H\times W$ 的单通道温度图。编码后的特征同时进入两条路径：

编码器和解码器各为两层卷积。上面一路是四层 SwinLSTM，层间夹着融合模块。下面一路从同一段特征估计位移，并用该位移搬动每一层 SwinLSTM 的输出。融合结果进入下一层。最后一层特征由解码器一次映射为未来整段温度图，原文没有把该过程描述为逐步把预测帧喂回输入。

因此，注意力的双方不是“卷积后的原始输入”和每一层 SwinLSTM 输出。每一层参与融合的是两份特征：该层 SwinLSTM 的原特征，以及按同一位移场搬过之后的副本。位移只估计一次，然后在各层复用。

SIEM：引用 SwinLSTM 提取时空特征

SIEM 采用四层 SwinLSTM。第一层直接接收编码特征，后续层接收上一层的融合特征：

图源：Peng et al.，原论文图 3，PDF 第 6 页。(a) 为沿时间更新的 SwinLSTM；(b) 为窗口注意力块；(c) 为时空特征融合模块。

图 3(a) 把常规 LSTM 的多个门收成一个门。当前帧特征与上一时刻隐藏状态拼接后，经线性投影进入 Swin Transformer 块。门控可概括为：

$\sigma$ 为 sigmoid，$G_t$ 同时参与细胞状态和隐藏状态的更新。细胞状态 $C_t$ 保留较长的时间信息，隐藏状态 $H_t$ 传给下一时刻。这是被引用的 SwinLSTM 结构，不是本文新增的门控设计。

图 3(b) 负责空间关系。它先在窗口内做自注意力，再把窗口错开做一次，使相邻窗口能够交换信息。每次都包含层归一化、注意力、残差和一个小型全连接网络。窗口内每个位置按相似度汇总其他位置，因此它表达的是一块区域中的空间关系，而不是单个格点的温度数值。

MTEM：估计温度图案的空间位移

图源：Peng et al.，原论文图 4，PDF 第 7 页。左侧格子中的结构到右侧发生平移，位移由横向偏移和纵向偏移组成。

图 2(b) 的估计器是卷积编码器–解码器。基本块为 3×3 卷积加 ReLU。编码器逐步缩小以提取多尺度特征，解码器通过上采样和跳跃连接恢复分辨率，最终给每个格点输出两个数。图中的空间关联指同一帧内部的邻域关系，时间关联指不同时刻、对应位置之间的联系。

相邻帧的位移写成：

$\delta x$ 是横向偏移，$\delta y$ 是纵向偏移。符号表示方向，绝对值表示移动距离。该向量不是温度，也不是以摄氏度为单位的强度。

网络使用这个位移搬动 SwinLSTM 已经提取的特征：

当前位置的校正特征，取自偏移后的位置。融合模块因此同时看到原地特征和按运动挪过的特征。

训练光流时，监督对象是相邻帧本身。把上一帧按位移采样，应尽量对齐当前帧：

光流损失是所有格点上对齐结果与当前帧之差的绝对值平均。另有平滑项，约束位移场在横向和纵向不要剧烈跳变，权重为 0.01。由此学到的是能够解释图案移动的位移，不是直接回归温度值。

海流会搬运冷暖水，所以图案位移常常与海流方向接近。二者仍然不是同一物理量。位移由温度图反推，单位是格点偏移；海流是再分析或观测给出的速度场。原文后文用 HYCOM 比较方向一致性，不能把 MTEM 的输出直接读成实测流速。

SFFM：交叉融合原特征与校正特征

融合总图为图 3(c)。通道注意力和空间注意力的内部结构为图 5。正文有一处写到图 5(c)，但图 5 只包含 (a) 和 (b)；融合模块画在图 3(c)。

图源：Peng et al.，原论文图 5，PDF 第 7 页。(a) 用全局平均池化生成通道权重；(b) 在通道维做最大池化和平均池化，生成空间权重图。

两份输入分别是 SwinLSTM 原特征 $F^{(l)}$ 和位移校正特征 ${\tilde{F}}^{(l)}$。通道注意力先把每个通道在整张图上平均，再经 1×1 卷积和 sigmoid，得到该通道是否重要：

两份特征各自得到 $s_1$ 和 $s_2$。随后做交叉加权，而不是各乘各的权重：

一条分支的通道重要性因此会影响另一条分支。空间注意力在通道维做最大池化和平均池化，保留每个位置，拼接后用 1×1 卷积得到一张 $H\times W$ 的权重图。该权重再乘回两份特征，并加回原特征，避免注意力覆盖原有信息。最后拼接并用 1×1 卷积压回原通道数，送入下一层 SwinLSTM。

图 3(c) 把融合输出标为下一层特征。第 IV-A 节则把融合结果记为 $F_{\mathrm{fused}}^{(l)}$，再由下一层 SwinLSTM 产生 $F^{(l+1)}$。两处符号不完全一致，但图 2 的数据流是明确的：SwinLSTM、位移校正和融合交替进行，融合结果进入下一层，而不是把原始输入保留下来反复参与注意力。

损失函数与训练目标

预测误差是未来每一帧、每个格点的平方误差，再对 $\beta$ 帧平均。总损失为：

温度预测损失与光流对齐损失权重相同，平滑项只占 0.01。训练因此同时要求未来温度图接近观测，以及估计位移能够对齐相邻帧。算法 1 给出的训练循环把优化目标写在损失计算步骤中，阅读时应以上式和实验设置为准。

实验设置：两个海域、两个时间尺度

数据来自 NOAA OISST，空间分辨率 0.25°，文中使用 2000 年 1 月 1 日至 2024 年 12 月 31 日的日平均和周平均海温。按时间划分，2000—2018 年训练，2019 年验证，2020—2024 年测试。滑动窗口的输入和输出长度均为 10：过去 10 天预测未来 10 天，过去 10 周预测未来 10 周。

图源：Peng et al.，原论文图 6，PDF 第 8 页。白色区域表示陆地。点 1、点 3 用于日尺度曲线，点 2、点 4 用于周尺度曲线。

南海范围为 109.0°E—120.0°E、7.0°N—18.0°N，受季风和陆架影响，温度变化更大。太平洋子区域为 169.0°W—180.0°W、5.0°S—6.0°N，均值略高、方差更小。表 I 给出 2000—2024 年日温度统计：南海均值 28.29 °C、方差 2.3185；太平洋均值 28.62 °C、方差 0.9999。两个区域不是难度相同的重复实验。

四个固定点只用于时间曲线可视化。点 1 为 15.825°N、116.015°E，点 2 为 9.125°N、111.005°E，点 3 为 1.0°N、178.0°W。点 4 在图 6 中标为 4.0°N、171.0°W；正文有一处写成 171.0°E。下文采用图中坐标。

对比模型为 ConvLSTM、ConvGRU、PredRNNv2、SwinLSTM 和 PhyDNet。SwinLSTM 是去掉光流分支和融合模块后最接近的骨干，PhyDNet 是带物理约束的对照。指标包括 MAE、RMSE、MAPE、$R^2$ 和 SSIM。前四项反映格点误差和拟合程度，SSIM 把温度图当作图像，衡量空间结构相似度。

全部模型在两张 NVIDIA GeForce RTX 4090D 上训练，批量大小 16，共 200 个 epoch，优化器为 Adam，初始学习率 0.001。验证集均方误差连续 20 个 epoch 不下降时，学习率乘以 0.1。

定量结果：优势随预测时效缩小

表 II 至表 V 分别对应南海日尺度、南海周尺度、太平洋日尺度和太平洋周尺度。原论文将本文模型标为各项最优。误差都随预测变远而增大，领先幅度在前几步更明显。下表只摘录第 1 步和第 10 步的 MAE，单位为 °C；完整五项指标见原表。

依据：原论文表 II—V，PDF 第 10—11 页。相对降幅按 (基线 − 本文模型) / 基线 计算，基于表中已四舍五入的数值。

南海日尺度第 1 天，MAE 比 ConvLSTM 和 SwinLSTM 分别低 39.0% 和 18.7%。第 10 天变为 0.4541 °C，降幅缩小到 19.1% 和 5.0%。太平洋日尺度第 1 天 RMSE 为 0.1548 °C，比 PhyDNet 和 SwinLSTM 低 29.4% 和 14.9%；第 10 天 RMSE 为 0.4183 °C，原文报告仍大约低 20% 和 9%。该区域 $R^2$ 从第 1 天的 0.9839 降到第 10 天的 0.8841。

周尺度更难。南海第 1 周 MAE 为 0.2167 °C，比 ConvLSTM 和 SwinLSTM 大约低 20% 和 12%；第 10 周为 0.6223 °C，大约只低 10% 和 3%。太平洋对应的第 1 周和第 10 周 MAE 为 0.2128 °C 和 0.6164 °C。引言中“第 10 天降低 5%、第 10 周降低 3%”指的是相对 SwinLSTM 的长时效差距，不是相对全部基线，也不是短时效差距。

这些结果支持该方法在所述数据划分和对比设置下具有更低误差。表中没有多次训练的误差范围，因此排名不能直接解释为经过统计检验的显著差异。SSIM 的差距在长时效上也明显收窄，例如南海日尺度第 10 天，本文模型为 0.8101，SwinLSTM 为 0.8036。

图 7 至图 10 用 2020 年连续 10 天和 2021 年连续 10 周的案例比较空间分布和误差图，不是整个测试集。原文描述 ConvLSTM 与 ConvGRU 的误差随时效积累，SwinLSTM 已较接近但仍缺少显式运动建模；PhyDNet 在太平洋案例中能表现冷暖分层，但误差图显示数值精度仍然有限。图 11 给出 2024 年四个固定点的曲线。点 1 上，本文模型与 SwinLSTM 都贴近观测，前者误差更小；点 2 和点 4 在年初剧烈波动时，前几个基线偏离更大。这些图补充平均指标，不能单独证明跨区域或全部极端事件上的稳定性。

消融、流场比较与极端个例

图源：Peng et al.，原论文图 12，PDF 第 15 页。(a)—(c) 为日尺度 MAE、RMSE 和 MAPE，(d)—(f) 为周尺度对应结果。

消融只有三档：仅 SIEM，SIEM 加 MTEM，以及再加入 SFFM。中间档不是完整模型中的注意力融合，而是把运动特征与时空特征逐元素相加。三条曲线都随预测变远而变差。仅保留 SwinLSTM 时，远期 RMSE 和 MAPE 下降更快。加入运动信息后三项指标改善，周尺度 MAPE 的分离最明显。加入 SFFM 后，日尺度和周尺度都达到该图中的最好结果。

因此，该图支持运动信息和融合方式都有贡献。它不能说明改善来自哪一种具体海洋过程，也不能把中间档的逐元素相加等同于正文中的 warp 与交叉注意力。

表 VI 报告南海上的复杂度。本文模型有 320 万参数、57.1G FLOPs，连续 10 天推理时间为 791.5 ms。SwinLSTM 为 290 万参数、48.5G FLOPs 和 739.2 ms。增加的部分对应光流分支和融合模块。PredRNNv2 的参数量和 FLOPs 更高，但表中推理时间更短；原文没有解释这一差异，只认为本文耗时可以接受。

图源：Peng et al.，原论文图 13，PDF 第 15 页。(a) 为 MTEM 估计流场；(b) 为 HYCOM 海流；(c) 为方向角偏差，图中标注平均值为 2.07°。

图 13 把估计位移与 HYCOM 再分析海流并置。原文认为强度分布和主要方向较一致，方向角平均偏差为 2.07°。色标上限达到 80°，局部亮带说明并非每个格点都只有很小偏差。该图提供的是方向相似性证据。它不证明模型在预测海流，也没有把格点偏移换算成流速。平均角差较小，不能外推为速度大小已经与再分析资料一致。

图源：Peng et al.，原论文图 14，PDF 第 16 页。区域为 169°W—180°W、5°S—6°N，时间为 2024 年 1 月 10—19 日。上方两行为温度，其余各行为误差。

该时段中东太平洋处于强厄尔尼诺位相，Niño 3.4 区海温异常超过 +2 °C。原文指出 1 月 11 日出现突然增暖，所有模型误差上升。ConvLSTM、ConvGRU 和 PredRNNv2 在第 2 至第 4 天偏离更明显；本文模型相对 PhyDNet 和 SwinLSTM 更稳定。作者同时承认，对这种快速、非周期突变，模型仍可能反应滞后。图 14 是一个案例，不能代替极端事件的系统评估。

局限与适用边界

本文最直接支持的结论是：在所用 OISST 子区域、时间划分和五个对比模型下，该双路径模型的日尺度与周尺度误差更低；消融支持运动分支和注意力融合的作用，图 13 提供估计位移与再分析海流的方向相似性。以下边界影响结果的使用：

• 最终输出只是海表温度。 光流是由温度图案反推的视在位移，不是温度强度，也不是经过独立测流验证的海流产品。
• 长时效优势有限。 相对最接近的 SwinLSTM，南海第 10 天和第 10 周 MAE 只降低约 5% 和 3%。方法减轻了误差增长，但没有消除误差增长。
• 消融中间档与完整路径不同。 “SIEM + MTEM”使用逐元素相加，不能直接等同于逐层 warp 加交叉注意力的贡献。
• 输入只有完整的单变量 SST。 风、盐度、海面高度和热通量没有作为输入。原文也指出真实观测常有缺测，而所用资料没有缺测。
• 空间范围是两个子区域。 太平洋实验不是全球太平洋。两个区域上的改善不能直接外推到其他海域或业务预报。
• 可视化不能代替全测试集。 图 7—11 和极端个例来自选定时段。表 II—V 才是汇总证据，且未报告多次运行的不确定性。
• 个别坐标和符号需要核对。 点 4 的经度在正文与图 6 中不一致；融合输出在图 3(c) 与第 IV-A 节中的符号也不完全相同。实现细节应以图 2 的数据流和实验设置为准。

进一步验证可以分别检查跨区域测试、缺测输入、多变量驱动、位移与实测流速的单位换算，以及极端事件的系统性评估。这些是后续问题，不是本文已经完成的结果。

参考来源

1. Peng, G., Liu, Y., Luo, J., Xiao, C., Du, W., and Xiao, C. A Dual-Path Recurrent Framework Integrating Optical Flow Guidance and Spatiotemporal-Aware Learning for Sea Surface Temperature Prediction. IEEE Transactions on Geoscience and Remote Sensing, 63, 4215018, 2025.
2. Tang, S., Li, C., Zhang, P., and Tang, R. SwinLSTM: Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 13424–13433. 本文只将其作为被引用的时空骨干。
3. NOAA Physical Sciences Laboratory 数据页面。OISST 来源按原论文第 V-A 节记录。

图 1—6、图 12—14 按原图编号引用。原论文图表版权归原权利人；本文提供中文解读，未上传或重新分发全文 PDF。