[133] DataComp: In search of the next generation of multimodal datasets

TL;DR

I read this because.. : dataset filtering / evaluation에 대해 궁금해서 읽음
task : CLIP
problem : open large image - text set
idea : common crawl + study
input/output : image / text -> similiarity score
architecture : CLIP과 동일
objective : contrastive loss
baseline : LAION-2B
data : CommonPool 14B -> (filtered) DataComp 1.4B
evaluation : zero-shot imagenet / imagenet-A/ .. 아래 자세히 서술 + retrieval
result : LAION-2B보다 더 높은 성능
contribution : 데이터셋 공개. 다양한 filtering 기법 ablation. competition으로 데이터에 집중하는 연구 방향 촉진.
etc. :

zs-image classifcation
CLIP 원래 논문에서 평가한 22개 데이터셋
6개의 distrbution shift된 imagenet : ImaeNet-Sketch, ImageNet-V2, ImageNet-A, ImageNet-O, ImageNet-R, ObjectBet
13개의 VTAB 데이터 : https://arxiv.org/pdf/1910.04867.pdf
3개의 WILDS 데이터: benchmark of 10 datasets reflecting a diverse range of distribution shifts that naturally arise in real-world applications, such as shifts across hospitals for tumor identification; across camera traps for wildlife monitoring; and across time and location in satellite imaging and poverty mapping. e.g. WILDS: A benchmark of in-the-wild distribution shifts. iWildCam2020-wilds(야생동물..), Camelyon17-wilds(세포조직..), RxRx1-wilds(RNA…)
WinoGAViL : commonsense association task https://paperswithcode.com/dataset/winogavil 봐도 뭔지 이해가 안되넹
마지막으로 fairness 데이터 두개 : FairFace, UTKFace -> 인종 맞추는 classification

correlation이 낮은 애들의 성능이 random guess와 가까웠다.

다 난해하기 짝이 없네.. 그나마 여기서 쓸만한건 imagenet-a와 country211 정도?! 그리고 당연하게도 ocr 쪽 데이터셋 (rendered sst2, svhn)도 correlation이 ㅇ없었다.

c.f. bs과 같은 hparam에 data filtering의 rank는 거의 바뀌지 않았다