版权属于：
人工智能炼丹师
作品采用：
《
署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)
》许可协议授权
图像自监督预训练小结(2016-2021)
-
早期方案(2016-2018)通过设计代理任务实现自监督训练，包括预测周围图像块的相对位置(转化为九宫格的分类问题)，预测图像的旋转角度等
-
中期方案(2019-2021)基于对比学习的方法，通过构造正负样本对(正样本对为同一张图片的不同数据增广构成的两张图片，负样本对为不同图片)，拉近正样本对特征之间的距离，拉远负样本对特征之间之间的距离。采用InfoNCE作为损失函数。主要包括像MoCo(v1-v3)、SimCLR、BYOL、SwAV、SimSiam
-
近期方案(2021-现在)主要将NLP中掩码机制(mask部分区域，模型对masked的区域进行预测，类似完形填空)成功地借鉴到CV领域，按照时间顺序，主要有BEiT、MAE、SimMIM、MaskFeat等系列工作
评论 (0)