以CLIP为例[50]的大规模VLM对下游任务的适应提出了一个巨大的挑战，主要是因为可训练参数的数量庞大，而可用训练样本的规模有限。在本文中，我们提出了一种针对视觉和语言分支设计的多模态适配器（MMA），以增强其各自表示之间的一致性。我们系统地分析了视觉和语言分支跨数据集的特征的判别性和泛化性，因为这两个特征在迁移学习中起着重要的作用，特别是在少样本设置中。基于我们的分析，我们有选择地将MMA引入到特定的更高的transformer层，以实现区分和泛化之间的最佳平衡。我们通过三个代表性任务来评估我们方法的有效性：对新类别的泛化，对新目标数据集的适应，以及看不见的领域转移。与其他先进方法的比较表明，我们的综合性能在所有三种类型的评估中都取得了卓越的表现。