中文场景下的CLIP图文预训练

1. 写在前面

被广泛使用的CLIP模型，采用英文描述和图片对数据集(WebImageText 400M)，进行对比学习训练，限制了其在中文场景下的应用。例如，在文生图应用中，国外开源模型Stable Diffusion需要采用英文作为输入，要支持中文描述生成图片得先翻译为英文。此外利用英文语料库训练的模型，对于【红烧狮子头、佛跳墙、对联和中文的成语、历史典故等】中文语境理解不够

在中文场景下的图文理解，近期也有相应的算法提出，包括智源的AltCLIP、阿里的ChinseCLIP、IDEA研究院的Taiyi、Wenlan、Wukong、R2D2等。这些算法各有优劣，本文将对上述算法和相关的数据集进行总结对比。

2. 中文-图文数据集

3. 现有中文CLIP综合对比

多数的中文CLIP均采用固定图像侧模型参数，只训练文本Encoder的方法。为进一步提升性能，ChinseCLIP 采用两阶段训练方案：先只训练文本Encoder，再联合训练图像Encoder+文本Encoder; AltCLIP也采用两阶段训练方案: 利用模型蒸馏，学习不同语种之间的文本语义对齐，再利用图文对对比学习，Finetune文本Encoder。

多数方法虽然提升了模型在中文数据上的指标，但是同时在英文数据上的性能（zero-shot 检索任务）却下降了。截止到目前(2023/04)，AltCLIP方法能够在中文和英文数据集上均取得SOTA的结果。