醍醐实验室头像
视觉重采样器(Vision Resampler)对比:Perceiver vs Q-Former vs C-Abstractor封面图

视觉重采样器(Vision Resampler)对比:Perceiver vs Q-Former vs C-Abstractor

视觉重采样器(Vision Resampler)对比:Perceiver vs Q-Former vs C-Abstractor

封面信息图

在多模态大语言模型(VLM)的架构设计中,视觉编码器(ViT)产出的海量特征序列(通常为 1024 到 4096 个 Patch Token)如果直接注入大语言模型,会导致 LLM 的自注意力计算量与 KV Cache 显存发生指数级爆炸。

为了将海量的视觉特征高效提炼为固定长度的紧凑语义向量(如将 1024 个 Patch 压缩为 64 或 144 个 Visual Tokens),多模态架构演化出了三大代表性的 视觉重采样桥接器(Vision Resamplers / Abstractors):

  1. Perceiver Resampler(DeepMind Flamingo 奠基)
  2. Q-Former(Salesforce BLIP-2 经典)
  3. C-Abstractor(Convolutional Abstractor)(Honeybee 前沿架构)

深入剖析这三大重采样器的数学拓扑、特征压缩机理以及对 2D 空间几何连续性(Spatial Topology)的保真能力,是构建下一代高性能多模态架构的必由之路。


一、三大视觉重采样器的机制与拓扑对比

[三大视觉重采样器架构拓扑对比]
1. Perceiver Resampler (基于 Cross-Attention 的固定查询压缩):
   可学习 Latent Queries (如 64 个) ──> [ Cross-Attention 扫描 1024 个 ViT Patches ] ──> 产出 64 个 Token
   - 特点: 压缩率极高,但 Query 会在全局范围内无差别平权吸纳,容易打乱局部 2D 空间几何邻域。

2. Q-Former (双流自注意力 + 交叉注意力交替堆叠):
   可学习 Queries ──> [ Self-Attention 内部交互 ] ──> [ Cross-Attention 汲取视觉 ] ──> 产出 32 个 Token
   - 特点: 语义抽象极其高级,但计算层级较深,多任务预训练流程繁重。

3. C-Abstractor (基于 2D 空间卷积的局部下采样):
   1024 个 Patches ──(重构为 32x32 2D 特征图)➔ [ 2D Depthwise-Conv 局部卷积 ] ──> 产出 144 个 Token
   - 突破: 彻底抛弃昂贵的 Attention,利用卷积归纳偏置 100% 严格锁定 2D 空间相邻关系,OCR 与坐标定位性能最强!

二、三大架构综合横向对比矩阵

重采样架构代表模型核心实现机制空间几何拓扑保真度细粒度 OCR / 定位能力计算与训练开销
Perceiver ResamplerFlamingo, OpenFlamingo纯 Cross-Attention 压缩⚠️ 局部拓扑容易被打散中等低
Q-FormerBLIP-2, InstructBLIP交互堆叠自注意力/交叉注意力⚠️ 偏向高级抽象,损失细粒度较弱 (小目标容易漏)很高 (需复杂预训练)
C-AbstractorHoneybee, InternVL-v22D 深度可分离卷积 + 局部池化🟢 100% 绝对空间几何保真💎 极强 (表格/坐标零失真)⚡ 极低 (纯 Conv 秒级计算)

三、C-Abstractor 的卷积空间局部下采样数学形式化

设视觉编码器输出的展平序列为 $\mathbf{X} \in \mathbb{R}^{L \times D}$(其中 $L = H_p \times W_p = 32 \times 32 = 1024$)。

  1. 2D 空间特征图重塑(Spatial Reshape):
    $$\mathbf{Z}_{\text{2D}} = \text{Reshape}(\mathbf{X}) \in \mathbb{R}^{B \times D \times H_p \times W_p}$$
  2. 深度可分离卷积下采样(Depthwise Separable Convolution with Stride $S$):
    $$\mathbf{Z}{\text{conv}} = \text{Conv2D}{\text{pointwise}}\left( \text{Conv2D}{\text{depthwise}}(\mathbf{Z}{\text{2D}}, \text{kernel}=K, \text{stride}=S) \right)$$
  3. 展平输出注入 LLM:
    $$\mathbf{X}{\text{out}} = \text{Flatten}(\mathbf{Z}{\text{conv}}) \in \mathbb{R}^{B \times \left( \frac{H_p}{S} \times \frac{W_p}{S} \right) \times D_{\text{llm}}}$$
[卷积下采样的几何保护特性]
- 当 stride = 2 时: 32x32 (1024 Tokens) 精确压缩为 16x16 (256 Tokens);
- 物理意义: 每个输出 Token 严格由原始图像中 2x2 的局部邻域像素聚合而成,
  绝不会将左上角的猫头特征与右下角的草地特征发生混乱混叠!

四、PyTorch 代码实战:C-Abstractor 模块手写实现

以下代码完整实现了基于 2D 卷积的高效 C-Abstractor 重采样层,演示了如何将 1024 个 Patch 特征在保持空间连续性的前提下压缩至 256 个 Token。

import torch
import torch.nn as nn
from typing import Tuple

class ConvolutionalAbstractor(nn.Module):
    def __init__(self, d_vision: int = 64, d_llm: int = 128, stride: int = 2):
        super().__init__()
        self.stride = stride
        
        # 1. 深度可分离卷积 (Depthwise Separable Conv2D)
        self.depthwise_conv = nn.Conv2d(
            in_channels=d_vision,
            out_channels=d_vision,
            kernel_size=3,
            stride=stride,
            padding=1,
            groups=d_vision, # Depthwise
            bias=False
        )
        self.pointwise_conv = nn.Conv2d(
            in_channels=d_vision,
            out_channels=d_llm,
            kernel_size=1, # Pointwise 投影至 LLM 维度
            bias=False
        )
        self.norm = nn.LayerNorm(d_llm)
        self.act = nn.GELU()

    def forward(self, visual_tokens: torch.Tensor, grid_h: int = 32, grid_w: int = 32) -> torch.Tensor:
        """
        :param visual_tokens: [B, L=1024, D_vision]
        :return: [B, (H/s * W/s), D_llm]
        """
        B, L, D_v = visual_tokens.shape
        assert L == grid_h * grid_w, "Token 数量必须与 2D 网格严格对齐"
        
        # 1. 重塑为 2D 空间特征图: [B, D_v, H, W]
        x_2d = visual_tokens.transpose(1, 2).view(B, D_v, grid_h, grid_w)
        
        # 2. 局部卷积下采样
        conv_out = self.depthwise_conv(x_2d)
        conv_out = self.act(self.pointwise_conv(conv_out)) # [B, D_llm, H/s, W/s]
        
        # 3. 展平并归一化
        _, D_out, h_out, w_out = conv_out.shape
        out_tokens = conv_out.flatten(2).transpose(1, 2) # [B, H_out * W_out, D_llm]
        
        return self.norm(out_tokens)

if __name__ == "__main__":
    torch.manual_seed(42)
    B, H, W, D_v, D_l = 2, 32, 32, 64, 128
    
    abstractor = ConvolutionalAbstractor(d_vision=D_v, d_llm=D_l, stride=2)
    
    # 模拟 1024 个输入 Patch
    dummy_patches = torch.randn(B, H * W, D_v)
    out_tokens = abstractor(dummy_patches, grid_h=H, grid_w=W)
    
    print("================ C-Abstractor 卷积重采样测试 ================")
    print(f"ViT 原始视觉 Token 序列形状: {dummy_patches.shape} (总计 {H*W} 个 Patches)")
    print(f"C-Abstractor 压缩后形状:     {out_tokens.shape} (精炼至 {out_tokens.shape[1]} 个 Tokens)")
    print(f"特征压缩率: {(1.0 - out_tokens.shape[1] / dummy_patches.shape[1])*100:.1f}%")
    print("✅ 空间几何邻域 100% 保留,且零 Attention 矩阵乘法开销!")
    print("===========================================================")

五、工业界多模态选型黄金准则

在当前的多模态大模型研发中:

如果任务涉及高密度的文档图表 OCR、GUI 屏幕点击或精细几何检测,强烈推荐采用 C-Abstractor 或 Pixel-Shuffle 空间重采样;仅在追求极致的纯语义压缩且对物体坐标完全不敏感的开放问答中,才考虑使用 Q-Former。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/2201_75984884/article/details/165237178

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--