DCRM-ViT 精读：冻结骨干，按样本现调参数的多域视觉 Transformer

论文信息

论文题目：Keep It Frozen: Domain-Routed Conditional Residual Modulation for Multi-Domain Vision Transformers

作者：Ufaq Khan、Umair Nawaz、Massimo Caputo、Muhammad Bilal、Junaid Qadir、Muhammad Haris Khan。

来源：CVPR 2026。MBZUAI、布里斯托大学、伯明翰城市大学、卡塔尔大学、奥克兰大学合作完成。

项目主页：DCRM-Website，代码标注 Coming Soon，尚未放出。

先看结论

DCRM-ViT 回答的问题很朴素：能不能让一个模型同时活在医学和自然两个图像世界里——医学端涨分，自然端一分不掉，推理时还不做任何临时调整？

做法是标题那句话：把预训练 ViT 骨干完全冻结，在旁边架一条轻量通路，由三个小模块组成——

组件	职责	通俗角色
DR（Domain Router）	从输入特征估计软域概率 $[p_{med},p_{nat}]$	迎宾员：报一个"八二开"的比例
PSN（Parameter Synthesizer Network）	按样本合成 TALer 的低秩权重	调料机：按比例现调一小碟酱
RMB（Residual Modulation Block）	门控低秩残差调制 Q/V 投影 + DAB 注意力偏置	点酱器：在关键工序入口点几滴
DAB（Domain-Aware Bias）	域概率加权的注意力偏置	顺手微调"专注方式"

关键数字：可训练参数仅 3.3M（约 ViT-B 的 3.5%），训练吞吐 335 img/s，每轮 0.3 分钟；微调 8 个数据集全胜（医学 Fpus23 63.4、Fetal Planes 89.3，标准 CIFAR-10 89.2、Caltech101 85.8，细粒度 Food101 95.7、S-Cars 91.5），分割 6 个数据集全胜（超声三件套平均超 SAMUS +3.07 Dice）。

一个定位备注：论文明确说目标不是把医学模型改造去服务自然图像，而是「向医学适配之后，压力测试通用能力是否还保得住」——所以实验里专门做了双向迁移验证。

背景：一个模型，两个世界

医学端到底难在哪

图 2 列出胎儿超声的五类固有缺陷：运动模糊、姿态/尺度变化、边界模糊、斑点噪声、声影遮蔽。这些需要细粒度视觉理解和对模态伪影的鲁棒性，而通用视觉模型（CLIP、MAE、DINOv2）的预训练分布里根本没有这些东西。

三条现成路线，各有各的死法

• 全量微调：目标域涨分，但域外能力退化（灾难性遗忘），计算开销大；
• 测试时适应（TTA）：推理阶段在线更新参数，训练与评估边界模糊，严谨验证困难；
• 医学专用基础模型（MedCLIP / BiomedCLIP）：医学占优，但多个自然图像基准反而不敌 CLIP。

三条路线的病根相同：都把「医学」和「自然」当成互斥世界——要么换权重，要么推理时改参数，要么换底座。

关键洞察：域差异是连续的

论文的支点是引言里的一句话：医学与自然图像的变异是连续的，而非纯类别的。一张灰度低对比的自然照片和一张清晰的超声图之间没有分界线，所有图像落在一条连续谱上。

这直接改写设计逻辑：如果域是离散类别，合理做法是静态按域切换的重型适配；如果域是连续谱，正确做法是论文反复强调的「最小的、输入条件化的修正：只在有益处的地方起作用，只施加所需的幅度」。后面每个组件都是这句话的机制化——DR 输出软概率而非 one-hot，PSN 以软概率为条件在两套参数间平滑插值，DAB 的偏置是两个域偏置矩阵的凸组合。

由动机导出的四条硬约束

(i) 单一端到端模型，医学+自然；(ii) 推理固定、快速、无测试时更新（针对 TTA）；(iii) 尊重内存/延迟约束（针对全量微调）；(iv) 跨模态稳定（超声/CT/MRI 统计特性差异大）。

方法总览：冻结骨干 + 轻量调制通路

先立记号：输入 $x\in {\mathbb{R}}^{3\times 224\times 224}$，冻结 ViT-B/16 的初始嵌入 $E\in {\mathbb{R}}^{197\times 768}$（$197=196$ patch $+1$ CLS），$d=768$。

推理时一条前向：

x ──冻结嵌入──▶ E(197×768) ──DR──▶ [p医, p自] ──PSN──▶ ≈2.4万调制参数
                                                        │
E ──▶ ×12 个 RMB（TALer 门控调制 + 冻结注意力 + DAB 偏置）──▶ 任务头 ──▶ logits / 分割图

理解这个方法最短的路是认清三类参数的不同来源：

参数层	内容	规模 · 更新方式
冻结	ViT-B 全部块权重（含 $W_q/W_k/W_v/W_o$）	≈86M · 永不更新
可训练	PSN(≈3.0M)、DR(GCU+DALer+域分类器)、${\gamma }_q/{\gamma }_v$、偏置 $B_{med}/B_{nat}$、任务头	合计 ≈3.3M · 内/外环梯度
按样本生成	TALer 低秩权重 $W_{DS}/W_{US}/b_{DS}/b_{US}$	≈2.4万/样本 · PSN 前向合成，不落盘

第三类是全文新意所在：调制参数从不存储，每次前向现场生成、用完即弃。

DR 域路由器：从特征到域概率

输入 $E\in {\mathbb{R}}^{197\times 768}$，输出 $D(x)=[p_{med},p_{nat}]\in {\mathbb{R}}^2$，softmax 归一化。

内部三步：

$$g={\mathrm{Conv}}_{1\times 1}(E;{\theta }_g)\in {\mathbb{R}}^{197\times 768}$$

GCU 门控通道用 1×1 卷积筛出与域相关的通道（不改变嵌入深度），筛出的 $g$ 与原始 $E$ 拼接送入下游——复合输入保留原始信息又突出域线索。

$$z=\mathrm{DALer}([E;g])=W_{\uparrow }\sigma (W_{\downarrow }[E;g])$$

DALer 是收缩-扩张瓶颈结构，强迫只保留判断出身所需的最少线索。

$$D(x)=\mathrm{softmax}(W_{c}z+b_c)=[p_{med},p_{nat}],p_{med}+p_{nat}=1$$

两个要点：这是软路由，输出连续概率、从不取 argmax；训练时需要每张图的 medical/natural 二元域标签，用交叉熵 ${\mathcal{L}}_{dom}$ 监督——这是论文没有强调的数据前提。

PSN 参数合成器：按样本现调参数

输入：拼接的 $[E;D(x)]$；输出：${\Theta }_{TALer}=\{W_{DS},W_{US},b_{DS},b_{US}\}$，输出层维度等于所有待生成 TALer 参数总数。

$${\Theta }_{TALer}=P(E,D(x);{\theta }_P)$$

这是超网络（Hypernetworks, Ha et al. 2016）的标准范式：一个网络的输出是另一个网络的权重。PSN 是全连接网络，瓶颈 $h=120$，存储参数约 3.0M，大头是输出层 $120\times N$——由此反推每样本生成 $N\approx 2.4$ 万个参数。

关键数学性质：$\Theta$ 是 $(E,p)$ 的连续函数，当 $p$ 从 $[1,0]$ 连续滑到 $[0,1]$，生成参数在医学套与自然套之间平滑过渡——「域差异是连续的」这个动机在这里兑现。

一个论文没有明说的算术：2.4 万参数摊给 12 个 Transformer 块，若每块独立一套则每块仅 2000 个，与 $2d{d}^{\prime }+2d$（$d=768$）的结构对不上；合理推断是跨块共享一套、$d^{\prime }\approx 15$，这与开销分析"generate shared modulation weights"的措辞吻合。相应地，"per-sample"的声明只在推理 batch=1 时严格成立——训练时 PSN 每 batch 只跑一次，batch 内共享调制权重。

RMB 与 TALer：门控低秩残差

每个 RMB = TALer 单元 + Transformer 块。输入单个 token 特征 $h\in {\mathbb{R}}^{768}$，输出 $h^{\prime }\in {\mathbb{R}}^{768}$（维度不变是残差补丁的前提）：

$$h^{\prime }=r\cdot \underset{\in {\mathbb{R}}^{d^{\prime }}}{\underbrace{\sigma (W_{DS}h+b_{DS})}}\odot \underset{\in {\mathbb{R}}^{768}}{\underbrace{(W_{US}\sigma (W_{DS}h+b_{DS})+b_{US})}}$$

项	形状	角色
$W_{DS}$	$d^{\prime }\times 768$	低秩编码：把 768 个数字浓缩成 $d^{\prime }$ 个"要点"
$W_{US}$	$768\times d^{\prime }$	低秩解码：按要点还原回 768 维
$\odot$	逐元素乘	门控：每个通道放行多少修正
$r$	标量	重缩放：应对病灶 vs 整个胎儿解剖的尺度差

三个设计意图：低秩让修改只由 $2\times 768\times d^{\prime }$ 个数字决定（修改效果不变，自由度砍掉九成多）；门控让补丁强度由要点决定——重要通道多修正，不重要少修正，即"only by the amount required"的机制化；残差形式保证补丁可撤销，冻结骨干的原有能力不可能被破坏。

复现警示：公式左支 $\in {\mathbb{R}}^{d^{\prime }}$、右支 $\in {\mathbb{R}}^{768}$，逐元素乘按字面不可定义——最可能的本意是 GLU 式门控（门控支路同样回到 768 维），且 $d^{\prime }$ 全文未给数值。此公式须以官方代码为准。

Q/V 修正与 DAB：改问法，不动名牌

TALer 调制后的特征 $\gamma$ 经加性修正进入冻结投影：

$$\tilde{Q}=W_q(\gamma +{\gamma }_q),\tilde{V}=W_v(\gamma +{\gamma }_v),K=W_k\gamma$$

$W_q,W_v,W_k$ 全部冻结，${\gamma }_q,{\gamma }_v$ 是可训练的加性修正。注意力像一场圆桌会议：Q 是提问，K 是每个人胸前的名牌，V 是各人肚里的干货。DCRM 只调提问方式和取材角度，不动名牌——论文的理由是保持注意力检索几何的完整性，改 K 会牵动所有 token 的对应关系。直觉合理，但消融表里没有「K 也调制」的对照行，属于断言而非被验证的结论。

然后是 DAB 域感知注意力偏置：

$$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}(\frac{Q{K}^T}{\sqrt{d_k}}+B_d)V,B_d=p_{med}{B}_{med}+p_{natural}{B}_{natural}$$

$B_{med},B_{natural}\in {\mathbb{R}}^{197\times 197}$ 是学习到的偏置矩阵（是否 per-head 论文未说明），按域概率凸组合后加进注意力 logits——域概率在模型里第二次发挥连续插值作用，ALiBi 式加性偏置保证开销可忽略。

双层优化：伙计练手，老板复盘

总损失：

$${\mathcal{L}}_{total}={\mathcal{L}}_{cls}+\beta {\mathcal{L}}_{domain}+{\mathcal{L}}_{reg}$$

（任务损失 + 域分类损失 + 正则项，${\mathcal{L}}_{reg}$ 具体形式论文未给出。）

训练借鉴 MAML，把任务学习和域元学习嵌套分离：

$$\text{内环（任务级，快）：}{\varphi }_T^{\prime }\leftarrow \varphi -\alpha {\nabla }_{\varphi }{\mathcal{L}}_T(\theta ,\varphi ,\omega ;D_T^{task})$$

$$\text{外环（域级，慢）：}\omega \leftarrow \omega -\beta {\nabla }_{\omega }{\mathbb{E}}_T[{\mathcal{L}}_T(\theta ,{\varphi }_T^{\prime },\omega ;D_T^{dom})]$$

外环同样更新 RMB 初始值 $\varphi$ 和内环学习率 $\alpha$ 本身（Meta-SGD 式做法，连"伙计每次练习下多大功夫"都是元学习的对象）。外环梯度必须穿过内环的数步更新回传——这正是"教会 PSN 生成好参数"的信号来源。

为什么必须双层：没有嵌套结构时，PSN 会同时接收所有任务/域的冲突梯度——既要伺候所有任务又要推断域归属，两头都没学好。消融佐证：去掉元学习，Fetal Planes 掉 6.2 pp、Fpus23 掉 4.6 pp。

一处含糊：论文先写 $\varphi =P(\omega ,D(x))$（RMB 参数是 PSN 生成物），又说外环直接更新「RMB 初始参数 $\varphi$」——内环的 $\varphi$ 究竟是 PSN 生成值还是独立存量参数，主文没有闭环，伪代码在补充材料里。

实验一：微调 8/8 全胜

设置：ViT-B/16、224×224、FP16、batch=128、单卡 A100-40GB；对比 MAE、DINOv2、CLIP、Tip-Adapter、AdaptFormer、LoRA。

最有说服力的观察是：没有任何单一 baseline 能跨三组域都领先——LoRA 强在医学、Tip-Adapter 强在标准、DINOv2 强在细粒度，而 DCRM-ViT 是唯一在全部 8 个数据集同时领先的模型。这正是「单模型多域」叙事的核心证据。

实验二：零样本与双向跨域

零样本通过学习变换矩阵把非 CLIP 模型的特征对齐到 CLIP 图文嵌入空间实现。增益分布：Caltech-101/CIFAR-10 各 +3.3 pp，S-Cars +2.9，Fetal Planes +1.9，Food101 +1.5，Fpus23 +1.4，Natural Images +0.9，SUN397 仅 +0.2。

跨域迁移（表 5）双向成立：胎儿上微调→测自然图像 63.7%（CLIP 60.2%）；自然图像上微调→测胎儿 Fetal Planes 70.2%（CLIP 67.1%）——医学适配不损害甚至有益于通用能力，这是「压力测试」设计的正面答案。

实验三：分割 6/6 全胜

分割设置很轻：冻结 ViT 编码器 + 浅层逐像素解码器（1×1 分类器 + 轻量上采样），只训练头部 + RMB + DR，损失为 Dice + 交叉熵。结果（Dice）：超声三件套 BUS-UCLM 0.862 / BUID 0.789 / BUS-BRA 0.834（平均超 SAMUS +3.07），心脏 ACDC 0.928 / MMWHS-CT 0.880 / MMWHS-MRI 0.856（平均 +2.23）——域条件调制机制从分类迁移到分割依然有效，且在超声、CT、MRI 三种模态上都成立。

消融：谁在干活

按移除后 Fetal Planes 准确率降幅排序：RMB 是绝对核心（89.3→74.5，掉 14.8 pp；FPUS23 也从 63.4→51.4），DR 次之（−11.1），其后是元学习（−6.2）、PSN（−3.6）、重缩放 $r$（−4.8）、DAB（−3.2）、门控（−3.3）；GELU/Drop-Path 等只是稳定性组件（<1 pp）。

结论清晰：RMB 提供适配容量，DR + 双层优化负责组织这些容量——没有路由和元学习的容量是散沙，没有容量的路由是空转。论文还报告 RMB 数量加到 12 层后性能饱和。

参数与效率

模型	总参数	可训练参数	吞吐 (img/s)	每轮时间
CLIP（全量微调）	123.0M	123.0M	205	3.0 min
AdaptFormer	89.0M	4.6M	298	0.5 min
LoRA	88.4M	5.5M	308	0.45 min
DCRM-ViT	90.3M	3.3M	335	0.3 min

可训练参数 ≈3.5% ViT-B（其中 PSN 占 3.0M）；整体前向 4.7 GFLOPs；PSN 每 batch 只运行一次，约 7 MFLOPs（<0.04% 骨干）。推理阶段既无内环也无外环——与 TTA 的本质区别：端上来的每盘菜都可复现、可审计。

精读视角：值得推敲的地方

按严重程度排序：

1. 公式 1 维度不自洽：${\mathbb{R}}^{d^{\prime }}\odot {\mathbb{R}}^{768}$ 按字面无法相乘，最可能本意是 GLU 式门控，$d^{\prime }$ 数值全文未出现；
2. "per-sample"与实现有张力：摘要强调按样本合成，开销分析却写 "PSN runs once per batch to generate shared modulation weights"——严格说训练时是 batch 级适配，论文未讨论；
3. 域空间假设过强：域分类器只输出 medical/natural 二维概率，但医学内部（超声 vs CT vs MRI）差异巨大，PSN 只能靠嵌入连续性兜底，没有单独验证模态间路由是否正确；
4. 显著性未验证：多数增益 +0.2~+1.0 pp（如 SUN397 81.3±0.3 vs DINOv2 80.6±0.4），置信区间明显重叠且无统计检验；
5. 可疑的 baseline：表 1 中 CLIP 在 Fetal Planes 只有 42.2%（其他方法 81–88%），该列的对比强度存疑；
6. 分割只报 Dice，无 HD95/边界指标——对边界模糊的超声任务恰是关键盲区；
7. 叙事与贡献来源有偏差：消融显示性能支柱是 RMB 的适配容量（−14.8），DR+PSN+元学习合计约 3–6 pp，而论文把四件并列陈述，"first end-to-end..."表述偏强。

总结

这是一篇「工程组合」型论文：冻结骨干 + 超网络参数生成 + MAML 双层优化的单项技术都不算新，但组合的动机清晰（连续域差异）、约束明确（不遗忘 + 零更新 + 轻量）、验证系统（微调/零样本/跨域/分割/消融/开销六个维度）。动机到设计的映射非常工整：连续域差异 → 软路由；不遗忘约束 → 冻结 + 加性残差；推理零更新 → 前向即适配；轻量约束 → 低秩瓶颈 + 选择性投影调制。

从借鉴角度，「冻结保底子、软判断承认连续性、现调低秩小补丁按需适配、两层训练教分工」这套思路对任何多域适配场景都成立。但方法细节的文档化程度偏低（$d^{\prime }$、$\varphi$ 的更新对象、DAB 形状均未说明），复现强依赖尚未放出的官方代码——引用其数字时建议保持谨慎。