Swin Transformer V2 论文解析

MSRA时隔八个月放出了Swin Transformer 2.0版本，在1.0版本的基础上做了改动，使得模型规模更大并且能适配不同分辨率的图片和不同尺寸的窗口；这篇博客记录一下自己的对于论文的理解，如有错误欢迎指正！ 论文链接: 理解V2的前提是要搞清楚V1的结构和方法，这里贴一下我自己对于V1版本的解析，建议两篇博客同时食用！ Swin Transformer 论文及代码解析： 论文中不止一次提到Swin Transformer V2 和 V1一样，最终的目的都是为了能够联合建模NLP和CV模型。 V2直接目标是得到一个大规模的预训练模型(图片分类)，可以应用到其他的视觉任务(分割、识别)并取得高精度。 NLP目前的模型参数已经达到了千亿级别并且出现了像BERT这种成功的预训练模型可以适配不同的NLP任务；CV目前最主要的一个问题就是模型规模不够大，ViT-G参数量也只有不到20亿，并且所有大规模的视觉模型都只应用于图片分类任务。 不够大(模型规模不够大) 不适配(预训练与下游任务图片分辨率和窗口大小不适配) 方法主要就是为了解决以上三个问题， post-norm and cosine similarity: 论文中提出了SwinV2-G: C=512, layer numbers={2,2,42,2}，通过增加处理数据的维度(192-->512)和Transformer层数(18-->42)增大模型规模，但是会产生一个问题：模型训练不稳定甚至不能完成训练。通过对模型每一层输出的分析，发现随着模型变深，没层的输出是不断变大的，随着层数增加，输出值不断累加，深层输出和浅层输出幅值差很多，导致训练过程不稳定(Figure 2)，解决这个问题就是要稳定每一层的输出，其幅值要稳定才会使得训练过程稳定。 为了稳定深层和浅层的输出，Swin V2 提出了两个方法： post-norm 就是把之前通用ViT中的Transformer block中的Layer Norm层从Attention层前面挪到后面，这么做的好处就是计算Attention之后会对输出进行归一化操作，稳定输出值 ViT中Transformer block计算Attention是采用dot(Q,K)的操作，在Swin V2中将其替换为了cosine(Q,K)/τ，τ是可学习参数，block之间不共享。cosine自带normalization操作，会进一步稳定Attention输出值 通过post-norm和cosine similarity操作将block的输出稳定在可接受范围内(Figure 2), 帮助模型进行稳定的训练。 模型不适配主要是图片分辨率和窗口大小的问题，在预训练过程中为了节约训练成本，采用的训练图片分辨率通常比较低(192/224)，但是很多下游任务要求的图片分辨率远大于训练分辨率的(1024/1536)，这就导致一个问题，将预训练模型迁移到下游任务时为了适配输入图片分辨率势必要改变窗口大小，改变窗口大小就会改变patch数量，改变patch数量就会导致相对位置编码偏置发生变化。e.g: 8×8 window size 变为 16×16 window size，其相对编码坐标就从[-7,7] --> [-15,15]，多出来的位置如何计算相对位置编码？ 之前通用的方法是采用二项三次差值，但是效果次优，不够灵活。 为了解决这个问题，Swin V2 提出了 Continuous relative position bias 和 Log-spaced coordinates: 二项三次差值不够灵活，那就直接上神经网络 (秒啊~)，下图中蓝色圈位置，Swin V2直接用一个两层的MLP(论文中的Meta network)来自适应生成相对位置偏置，Meta network的输入是 和 或者 在Log-spaced中会讨论这两个的区别。 上面提到的 是相对位置编码坐标，在本章开头提到过，patch数量变化之后需要将相对位置编码外推，在例子中的外推率是1.14×，我们希望的是降低这个比率，外推的越小越好，毕竟Meta network没见过外推特别多的输入，为了保证相对位置编码的准确性，需要将外推控制在一个可接受范围内。 这个问题其实就是一个坐标变换，之前的[-7,7] --> [-15.15]是线性变换，那换一个坐标计算方法不就可以解决了吗？于是乎，Log-spaced coordinates出现了，将线性变换转换为了对数变换： 直接截图了，图中公式 hat上面用 表示的，大家清楚就好了，这里有一个要吐槽的点，公式中的log其实是ln，通过这个公式，带入上面例子的[-7,7] --> ...