CS Notes

Vision Transformer (ViT)

10分钟阅读

vit介绍（qianwen）

好的，这是对您上传的《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》这篇论文的总结。

核心思想

这篇论文提出了Vision Transformer (ViT)，一个革命性的模型，它证明了纯Transformer架构（不依赖任何卷积层）可以直接应用于图像识别任务，并在大规模数据预训练下取得超越当时最先进卷积神经网络（CNN）的性能。

其核心思想是将一张图像视为一个“句子”，而图像中的小块（patches）则被视为这个句子中的“单词”（tokens）。然后，直接将这些“单词”序列输入到标准的Transformer编码器中进行处理。

关键方法

  1. 图像分块（Patch Embedding）：
    • 将输入图像分割成固定大小（如16x16像素）的小块。
    • 将每个小块展平并通过一个可学习的线性投影（Linear Projection）映射到一个低维向量，形成“patch embeddings”。
  2. 位置编码（Position Embedding）：
    • 由于Transformer本身不具备位置感知能力，需要为每个patch embedding添加一个可学习的位置编码，以保留其在原始图像中的空间位置信息。
  3. 分类Token（[class] token）：
    • 借鉴BERT的做法，在patch序列的开头添加一个特殊的、可学习的[class] token。
    • 整个序列通过Transformer编码器后，[class] token对应的最终输出向量被用作整个图像的全局表示，并送入分类头进行预测。
  4. 混合架构（Hybrid Architecture）：
    • 论文还探索了一种混合模型：先用一个CNN（如ResNet）提取特征图，再将特征图分割成“patch”并输入Transformer。这可以作为从CNN到纯Transformer的过渡。

主要发现与结论

  1. 数据规模是关键：

    • 在中小型数据集（如ImageNet-1k）上，ViT的表现不如同等规模的CNN（如ResNet），因为它缺乏CNN固有的归纳偏置（如局部性、平移等变性）。
    • 然而，当在非常大的数据集（如JFT-300M，包含3亿张图片）上进行预训练时，ViT的性能会大幅超越CNN。 这表明，大规模数据可以弥补甚至超越手工设计的归纳偏置。

  2. 计算效率高：

    • 在达到相同或更好性能水平的前提下，ViT的预训练所需的计算资源（TPUv3-core-days）远低于当时最先进的CNN模型（如Noisy Student, BiT）。

  3. 性能卓越：

    • 在JFT-300M上预训练的ViT模型，在迁移到多个下游任务（如ImageNet, CIFAR-100, VTAB等）时，都取得了当时顶尖（state-of-the-art）或接近顶尖的结果。例如，在ImageNet上达到了88.55%的准确率。

  4. 自注意力机制分析：

    • 论文通过可视化发现，ViT的自注意力头在浅层就能关注到图像的全局信息，而另一些头则专注于局部细节，这种行为类似于CNN中不同感受野的设计。

意义与影响

这篇论文是计算机视觉领域的一个里程碑。它成功地将NLP领域大获成功的Transformer架构引入到CV领域，并证明了其巨大潜力。ViT的提出打破了CNN在视觉任务上的长期统治地位，开启了“视觉大模型”的新时代，并催生了大量后续研究（如Swin Transformer, DeiT等），极大地推动了计算机视觉的发展。

position embedding

好的！我们来详细讲解 Vision Transformer（ViT）中**位置编码（Position Embedding）**是如何实现的，并结合具体的向量例子帮助你直观理解。

一、为什么需要位置编码？

Transformer 模型本身是**置换不变（permutation-invariant）**的：它只处理输入 token 的集合，而不知道它们的顺序。但在图像中，一个 patch 在左上角还是右下角，意义完全不同！

因此，我们必须告诉模型：“这个 patch 是第几个”或“它在图像中的 (x, y) 位置是多少”。这就是位置编码的作用——为每个 patch embedding 添加位置信息。

二、ViT 中的位置编码实现方式

ViT 使用的是 可学习的（learnable）1D 位置编码，而不是像原始 Transformer 论文里用的正弦/余弦函数（虽然也可以用，但 ViT 选择可学习）。

步骤分解：

  1. 图像分块

    • 假设输入图像大小为 224×224，patch 大小为 16×16。
    • 那么每边有 224 / 16 = 14 个 patch。
    • 总 patch 数量：N = 14 × 14 = 196。

  2. Patch Embedding

    • 每个 16×16×3 的 patch 被展平成长度为 16×16×3 = 768 的向量。
    • 然后通过一个线性层（或直接视为嵌入矩阵）映射到维度 D = 768（假设 embed_dim=768）。
    • 得到 196 个 patch embeddings：

  3. 添加 [class] token

    • 在序列最前面插入一个可学习的 [class] token（维度也是 768）。
    • 所以总序列长度变为 197（196 patches + 1 class token）。

  4. 位置编码（关键！）

    • ViT 初始化一个 可学习的位置编码矩阵：
    • 这个矩阵的每一行对应序列中一个位置的编码：
      • 第 0 行：[class] token 的位置编码
      • 第 1 行：左上角第一个 patch 的位置编码
      • 第 2 行：第一行第二个 patch 的位置编码
      • …
      • 第 196 行：最后一个 patch 的位置编码

  5. 最终输入 = Patch Embeddings + Position Embeddings

    其中 ; 表示拼接，加法是逐元素相加（broadcasting）。

三、具体向量例子（简化版）

为了便于理解，我们用极简参数举例：

  • 图像：32×32
  • Patch size：16×16 → 共 (32/16)^2 = 4 个 patches
  • Embedding 维度：D = 4（仅为演示）
  • 序列长度：4 patches + 1 [class] = 5

Step 1: Patch Embeddings（假设值）

# shape: (5, 4)
patch_embeddings = [
    [0.1, 0.2, 0.3, 0.4],   # [class] token (随机初始化)
    [1.0, 1.1, 1.2, 1.3],   # patch 0 (top-left)
    [2.0, 2.1, 2.2, 2.3],   # patch 1 (top-right)
    [3.0, 3.1, 3.2, 3.3],   # patch 2 (bottom-left)
    [4.0, 4.1, 4.2, 4.3],   # patch 3 (bottom-right)
]

Step 2: 可学习位置编码（训练前随机初始化，训练中更新）

# shape: (5, 4) — 与 patch_embeddings 形状相同
position_embeddings = [
    [0.01, 0.02, 0.03, 0.04],   # pos for [class]
    [0.10, 0.11, 0.12, 0.13],   # pos for patch 0
    [0.20, 0.21, 0.22, 0.23],   # pos for patch 1
    [0.30, 0.31, 0.32, 0.33],   # pos for patch 2
    [0.40, 0.41, 0.42, 0.43],   # pos for patch 3
]

Step 3: 相加得到最终输入

input_to_transformer = patch_embeddings + position_embeddings
# 结果：
[
    [0.11, 0.22, 0.33, 0.44],   # [class] + its pos
    [1.10, 1.21, 1.32, 1.43],   # patch0 + pos0
    [2.20, 2.31, 2.42, 2.53],   # patch1 + pos1
    [3.30, 3.41, 3.52, 3.63],   # patch2 + pos2
    [4.40, 4.51, 4.62, 4.73],   # patch3 + pos3
]

✅ 注意：每个位置都有唯一的位置编码向量。即使两个 patch 内容完全相同（比如都是蓝天），只要位置不同，它们的最终输入向量就不同，因为加了不同的位置编码。

四、补充说明

  • 1D vs 2D 编码：ViT 把 2D 图像展平成 1D 序列（按行优先顺序），所以位置编码是 1D 的（第 i 个 patch）。虽然丢失了显式的 2D 结构，但实验表明在大数据下模型能自己学出空间关系。
  • 可学习的好处：比固定正弦编码更灵活，能适应图像数据的特性。
  • [class] token 也有位置编码：虽然它不代表空间位置，但给它一个独立的位置编码有助于模型区分它和普通 patch。

总结

ViT 的位置编码就是一个 形状为 (N+1, D) 的可学习参数矩阵，在训练过程中和模型其他参数一起优化。它被逐元素加到 patch embeddings 上，使得 Transformer 能够感知每个 patch 在原始图像中的顺序或位置。

这种方式简单、有效，并且在大规模数据下表现卓越，成为后续视觉 Transformer 模型的标准做法之一。

关系图谱