[ICLR2021] (ViT) An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
ICLR2021
Link: [2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (arxiv.org)
Code: lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification with only a single transformer encoder, in Pytorch (github.com)
1 Method
1.1 图像预处理
1.1.1 原始输入（Input）
输入图像尺寸224 x 224 x 3，patch size为16 x 16，
那么模型输入为(224/16)^2 x (16 x 16 x 3) = 196 x 768（N x D）
即196个patch，每个patch拉直后维度是768
1.1.2 Linear Projection（E）
Patch首先经过一个FC，大小是768→768
FC输入维度196 x 768→FC输出维度196 x 768
1.1.3 Extra CLS Embedding
额外加入一个CLS Embedding，大小为1 x 768
1.1.4 Position Embedding
加入位置信息，也是一个矩阵，大小为 N x D，即197 x 768
learnable
将Position Embedding直接加到patch embedding和 CLS embedding上
（注意：是sum，不是concat）
1.2 Transformer Encoder
Transformer Encoder由L个Transformer Block组成
1.2.1 Embedded Patches
Embedded Patches (197 x 768)
= Patch Embedding (196 x 768)
+（concat） CLS Embedding (1 x 768)
+（add） Position Embedding (197 x 768)
Encoder输入尺寸：(196+1) x 768 = 197 x 768
1.2.2 Multihead Attention
在base版本中，有12个head，那么每一个head的K、Q、V维度为197 x (768/12)=197 x 64
再将每一个head的结果重新concat起来拼成197 x 768
1.2.3 MLP
先放大，再缩小维度
197 x 768→197 x 3072→197 x 768
1.3 Encoder’s Output
将CLS Embedding的输出作为整个Transformer Encoder的输出，即整张图像的特征
1.4 Overview
2 Ablation
2.1 [class] token (CLS Embedding)
[class] token v.s. GAP（Global Average Pooling）
在VIT中，使用[class] token的输出作为整张图像的特征
在CNN中，是在最后的feature map上做GAP（Global Average Pooling）作为图像特征
那为什么VIT不也在所有的patch的输出上使用GAP呢，经过消融实验，二者效果差不多，为了跟原始Transformer一致，继续使用的[class] token的输出作为整张图像的特征
实验结论：效果差不多
2.2 Position Embedding
None：不加位置编码，想象为 bag of patch
1d：跟原始Transformer一样
2d：更加符合图像的特征，两个D/2维的向量分别表示 x 和 y 方向，然后concat在一起拼回D维度向量
相对位置编码：使用相对位置进行编码
实验结果
结论：效果差不多
3 Experiment
3.1 参数量
3.2 分类实验结果
刷榜
3.3 在不同规模的数据集上预训练
结论：
在小数据集上（ImageNet）上进行预训练，效果不如BiT ResNet；
在大数据集上（JFT-300M）上进行预训练，效果比ResNet好。
想使用ViT，那么至少需要准备规模与ImageNet-21k相当的数据集，否则还是CNN效果更好
3.4 Embedding Filter, Position Embedding & Attention Distance
（左图）**Embedding Filter（E）**的结果，可以看到跟CNN差不多，提取到了纹理、颜色等信息
（中图）Position Embedding Similarity：虽然是1d位置编码，但是还是学到了2d的位置信息，也可以解释为什么换成2d的位置编码后并没有什么结果的提升
（右图）Mean Attention Distance：每一个head能注意到多远的距离（可以理解成感受野？），在浅层网络时有的只能注意到很近的距离，但有的已经可以注意到很远的距离了；随着网络的深入，每一个head都可以注意到很远的距离了
// 
// 
3.5 Self-Supervision
仿照BERT，进行masked patch prediction
结果：ViT-B/16在Imagenet上达到79.9% acc，比有监督低4%
（挖坑）