FAA：用傅里叶方向对齐，补上遥感旋转检测里的关键一环

Date 2026-06-24 · Category tech · Status finished · Confidence likely

论文解读, 遥感视觉, 目标检测

论文信息

论文题目：Fourier Angle Alignment for Oriented Object Detection in Remote Sensing

这篇论文关注的是遥感旋转目标检测。和普通目标检测相比，遥感里的船、飞机、车辆常常以任意角度出现，因此模型不仅要判断“这是什么”，还要准确判断“它朝哪边”。作者认为，现有方法虽然已经在 backbone、neck、head 和损失函数上做了很多优化，但方向信息本身仍然没有被显式处理好。

论文对应代码仓库在摘要中给出为：https://github.com/gcy0423/Fourier-Angle-Alignment

这篇笔记按照“动机 -> 方法 -> 模块设计 -> 实验结果”的顺序，把整篇论文做一次总复盘。

核心动机：现有旋转检测器还有两个共性瓶颈

作者在第一页就把问题压缩成两个很具体的瓶颈：

directional incoherence at detector neck
task conflict at detecting head

这两个问题分别对应 FPN 融合阶段和检测头阶段。

FAA 在检测器中的位置

从图 1 可以看出，作者并没有推翻现有遥感旋转检测框架，而是在主流两阶段检测器里插入两个轻量模块：

FAAFusion：放在 FPN 里
FAA Head：放在检测头里

这意味着 FAA 的目标不是“重新设计一个从头到尾的新检测器”，而是：

把方向建模做成一个可插拔能力，
补到现有 rotated detector 最容易出问题的两个位置。

问题一：为什么 FPN 里会出现方向不一致

高层与低层特征的方向不一致

图 2 很直观地解释了第一个问题。

在遥感旋转检测里：

低层特征保留了更多边缘、角点和纹理，因此方向信息更细、更准；
高层特征语义更强，但经过多次下采样后，方向往往更模糊、更粗糙。

图中 (b) 的低层特征还能看出船体边缘和局部朝向，而 (c) 的高层特征只剩下一种大致的横向语义响应。传统 FPN 会把这两类特征直接相加或拼接，但作者认为这会带来一个隐藏问题：

两层特征都在表达方向；
但一个表达得细，一个表达得粗；
直接融合会把不一致的方向信号混在一起。

最终结果就是：融合后的特征里会有方向噪声，影响角度预测。

因此作者提出的第一个目标是：

在 FPN 里先做方向对齐，再做特征融合。

问题二：为什么检测头里的分类和回归会冲突

检测头里的任务冲突

图 3 解释的是第二个问题。

同一个 RoI 特征通常同时服务两个任务：

分类：不管飞机怎么转，都应该还是“飞机”
角度回归：飞机一旦旋转，特征最好能跟着变化

所以两者对特征的要求其实是相反的：

分类希望特征更接近旋转不变；
回归希望特征对旋转敏感。

如果强行让同一个共享特征同时满足这两个目标，它往往会变成一种折中状态：

对分类不够稳定；
对角度预测也不够敏感。

这就是作者所说的 task conflict in the detection head。

因此作者提出的第二个目标是：

给分类提供更统一的姿态表征，同时又不要丢掉回归需要的原始方向细节。

关键观察：频域里更容易显式看见方向

作者的核心突破点不是新的卷积，也不是新的回归损失，而是把方向建模从空间域转到了频域。

空间旋转与频谱方向的关系

图 4 表达了两个核心事实。

第一，如果一个目标在空间域里旋转，那么它的傅里叶频谱也会一起旋转。
第二，对船、飞机、车辆这类近矩形、细长目标来说，频谱中往往会出现明显的主方向。

作者进一步分析了矩形目标的频谱性质，结论是：频谱主能量方向和目标几何长轴之间存在稳定关系。虽然论文中给了完整公式推导，但对阅读理解来说，抓住下面这句话就够了：

目标的主方向可以从频域能量分布里被稳定估计出来。

这一步非常关键，因为它把“角度”从一个需要网络隐式学习的东西，变成了一个可以显式估计、显式对齐的中间变量。

方法总览：先估计主方向，再做方向对齐

FAA 的整体结构如图 5 所示。

FAA、FAAFusion 与 FAA Head 的整体结构

作者把 FAA 分成两个步骤：

FAE：Fourier Angle Estimation
FAA：Fourier Angle Alignment

它的逻辑可以用最白话的方式理解成：

先看懂这个特征当前朝哪边，
再把它旋到我希望的参考方向。

更具体地说：

输入一个方形特征图 X
先做二维傅里叶变换，得到频谱
再把频谱转成极坐标表示
统计每个角度方向上的能量
哪个角度能量最大，哪个角度就是主方向
最后把原始特征图旋转到参考角 $θ_{0}$

论文中的 $θ_{0}$ 在不同模块中含义不同：

在 FAAFusion 里，参考角来自低层特征估计出的方向
在 FAA Head 里，参考角固定为 0°

所以 FAA 的能力不是只用来“预测角度”，而是用来做一个更通用的操作：

方向标准化。

FAAFusion：怎么嵌进 FPN 解决方向不一致

传统 FPN 在某一层做融合时，往往是把高层特征上采样后，直接和低层特征相加。FAAFusion 的思想则是：

先对齐方向，再融合语义和细节。

它的流程是：

高层特征 $Y^{(l + 1)}$ 先上采样到和低层特征 $X^{l}$ 同分辨率
两边各用一个 1x1 Conv 对齐通道并减轻计算量
用 unfold 把两张特征图拆成一系列局部块
对低层局部特征做 FAE，估计每个位置的主方向
把这个低层方向作为目标方向，去对齐对应的高层局部块
再用 fold 把对齐后的高层局部块拼回特征图
最后把低层特征、上采样高层特征和对齐后的重建高层特征相加

这里最核心的一点是：

低层特征负责提供精确方向
高层特征负责提供强语义
因此让低层“定方向”，高层“来对齐”

这和传统 FPN 直接相加完全不同。作者认为，这样做可以在多尺度融合前就先保证方向语义一致，从而减轻角度预测误差。

FAA Head：怎么缓解分类和回归冲突

FAA Head 是整篇论文里最值得记住的部分之一。

它的做法并不复杂：

输入原始 RoI 特征 $F_{r o i}$
对这个 RoI 做一次 FAA，并把它的主方向统一对齐到 0°
得到对齐后的特征 $F_{in v}$
再把原始 $F_{r o i}$ 加回来，形成 $F_{f ina l} = F_{in v} + F_{r o i}$
把 $F_{f ina l}$ 送入共享 FC，再分到分类和回归分支

它背后的逻辑是：

$F_{in v}$ 已经被“摆正”，更接近旋转不变特征，更利于分类；
原始 $F_{r o i}$ 仍保留原来的角度和几何信息，更利于回归。

所以作者不是简单把分类和回归拆成完全独立的两路，而是构造了一个更均衡的共享表征：

<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8333em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.1389em;">F</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3117em;"><span style="top:-2.55em;margin-left:-0.1389em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight">in</span><span class="mord mathnormal mtight" style="margin-right:0.0359em;">v</span></span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span> 提供“这是什么”的稳定信息
<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8333em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.1389em;">F</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3117em;"><span style="top:-2.55em;margin-left:-0.1389em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right:0.0278em;">r</span><span class="mord mathnormal mtight">o</span><span class="mord mathnormal mtight">i</span></span></span></span></span><span class="vlist-s"></span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span> 提供“它原来怎么摆着”的方向细节

这就是 FAA Head 能缓解任务冲突的原因。它并不是完全解耦，而是通过“对齐特征 + 原始特征”的组合，让共享特征更容易同时服务分类和回归。

图 5 到底应该怎么读

图 5 下半部分基本就是整篇方法的落地流程图。

先看左边的 FAAFusion：

$Y^{(l + 1)} \to Up$ 高层特征先上采样
$Up \to 1 \times 1 \to unfold$ 得到一组高层局部块
$X^{l} \to 1 \times 1 \to unfold$ 得到一组低层局部块
$低层局部块 \to FAE \to θ_{l}$ 估计局部主方向
$高层局部块 \to FAA \leftarrow θ_{l}$ 用低层方向对齐高层局部块
$fold \to 1 \times 1 \to Y_{r eco n}^{(l + 1)}$ 把对齐后的高层块重建回特征图
最后与 $X^{l}$ 和普通上采样高层特征一起相加，得到融合结果

再看右边的 FAA Head：

$RoI \to FAA$ 对每个 RoI 特征做方向对齐
$0^{\circ} \to FAA$ 这里表示固定把特征旋到 $0^{\circ}$
$FAA \to (+) \leftarrow RoI$ 对齐后的特征和原始 RoI 做残差相加
$(+) \to FC \to FC$ 两层共享全连接
然后分成 Classification 和 Regression

所以这张图表达的不是一个复杂大模型，而是两种很明确的方向对齐策略：

跨层方向对齐
规范姿态方向对齐

实验设置：作者到底想验证什么

实验部分用了三个标准遥感旋转检测数据集：

DOTA-v1.0
DOTA-v1.5
HRSC2016

并选取了三个代表性 backbone 或强基线进行改造：

ResNet50
LSKNet-S
StripNet-S

作者的实验设计有一个很重要的特点：

不是从头发明一个新检测器，而是把 FAAFusion 和 FAA Head 插进已有强模型里，看它们是否稳定提升。

这让论文的结论更像“模块有效性验证”，而不是“某个特定大框架刷分”。

主结果：FAA 在多个基线和数据集上都能稳定涨点

在 DOTA-v1.0 上，作者报告：

O-RCNN + ours 比原始版本提升 0.68
LSKNet + ours 提升 1.00
S-RCNN + ours 提升 0.63

其中最好的结果达到 78.72 mAP。

在 DOTA-v1.5 上，提升更明显：

O-RCNN + ours 提升 0.37
S-RCNN + ours 提升 1.73
LSKNet + ours 提升 2.02

最好的结果达到 72.28 mAP。

在 HRSC2016 上，作者除了给出 AP50，还报告了更严格的 AP75 和 COCO 风格 mAP，因为旋转框检测里仅看 AP50 往往无法体现角度拟合能力。结果显示，FAA 在三个基线上也都能带来持续改进。

这些结果说明：

换 backbone 依然有效
换数据集依然有效
FAA 不是只对某一个具体模型有用

消融实验：两个模块都有效，但 FAA Head 更关键

论文的消融实验用 LSKNet-S 作为 backbone，分别比较：

什么都不用
只加 FAA Head
只加 FAAFusion
两个都加

结果大意是：

baseline：77.49
只加 FAA Head：78.27
只加 FAAFusion：77.91
两个都加：78.49

这个结果有两个很明确的含义：

两个模块各自单独都有正收益
FAA Head 的贡献更大
两个模块叠加后还能继续提升，说明它们不是在做重复工作

因此整篇论文的改进来源是比较清晰的：

FAAFusion 修补 FPN 里的方向不一致
FAA Head 修补检测头里的分类回归冲突

为什么作者还单独拿 FAA Head 去比较

作者还专门把 FAA Head 和其他检测头做比较，包括：

原始检测头
Strip Head
FAA Head

结果显示，在多个检测器上，FAA Head 都拿到了最高 mAP。更有意思的是，作者强调：

参数量和 Strip Head 接近
FLOPs 更低
结果反而更好

这说明 FAA Head 的优势不是单纯靠算力堆出来的，而是因为“先规范姿态，再保留原始细节”的设计本身更合理。

高 IoU 分析：这篇论文最有说服力的一部分

作者认为，旋转目标检测里只看 AP50 很容易掩盖真实问题。

因为在 IoU = 0.5 的条件下，很多方法都能“差不多框住目标”；但一旦 IoU 阈值提高到 0.7 甚至 0.8+，角度和边界稍微偏一点，性能就会迅速掉下来。

论文专门绘制了高 IoU 区间的 AP 曲线，并指出：

IoU 越高，FAA 的优势越明显。

这点非常重要，因为它说明 FAA 带来的不是“宽松指标下的表面涨点”，而是：

更准确的方向建模
更严格的框拟合能力
更强的精定位能力

这和论文一开始的动机是完全对齐的。

这篇论文真正的贡献在哪里

从整篇论文的结构来看，FAA 的价值不只是两个小模块，而是提出了一套很清楚的方法论：

方向信息不应该只在空间域里被隐式学习
频域里存在更直接的主方向信号
方向可以先被显式估计，再被显式对齐
这个能力既可以服务跨层融合，也可以服务 RoI 表征规范化

换句话说，这篇论文最值得借鉴的地方是：

把“方向”从普通视觉特征中单独拎出来，当成一个真正需要建模和操作的中间变量。

总结

如果把这篇论文压缩成最短的一条主线，它大概是这样：

问题：旋转检测里的方向信息没有被显式处理好
观察：频谱里可以稳定估计主方向
方法：先估角，再对齐
落地：在 FPN 里做跨层方向对齐，在 Head 里做规范姿态对齐
结果：多个数据集和基线上稳定提升，高 IoU 下更有优势

所以 FAA 真正想做的事，不是给检测器再堆一层复杂结构，而是补上遥感旋转检测里一个长期被忽略的关键环节：

方向本身，值得被单独建模。