[7] SLIP: Self-supervision meets Language-Image Pre-training

arxiv , code

problem : Self-supervised-Learning이 CLIP 모델 구조에서도 잘 작동하는지 실험 solution : 이미지와 텍스트에 대해서는 contrastive learning 을 하고, 이미지에 대해서는 self-supervision learning 을 하여 로스를 합하여 학습. result : linear prediction(=representation에 FCN 붙여서 분류하는것. linear만 학습함. BERT에서 언급하는 ‘feature-based learning’), zero-shot learning, end-to-end finetuning에서 SOTA