[109] 🦩 Flamingo: a Visual Language Model for Few-Shot Learning

paper

TL;DR

• I read this because.. : #116 읽고 나서 읽고 싶어짐. 예전에 성현님이 소개해주셨는데 디테일 모름. GPT 열풍으로 요즘 다시 많이 언급됨.
• task : Vision Language Model in general use! VQA, object detction, VizWiz, HatefulMemes …
• input : text with image/video
• output : free form of text
• problem : CLIP 류는 image-text pair의 score만 나오므로 이미지 분류와 같은 closed set에 대한 태스크에만 적용이 가능하다. cpationing이나 VQA 같은 open-ended task를 풀 수 있는 generate language 능력이 부족하다.
• idea : LM 방식으로! pretrained LLM 가져오고 visual token을 cross-attention으로 정보를 넣어주자
• architecture : LM은 일단 chinchilller(70B). 이미지 인풋은 NFNet에 넣고 마지막 feature flattent 한 뒤 Perceiver resampler로 few latent vector를 뽑음. LM 중간에 cross attention(train from scratch)로 visual 정보를 넣어줌. 안정적인 학습을 위해 0으로 초기화 되는 alpha로 tanh gating함.
• objective : NLL loss given image. 각 텍스튼 토큰은 직전의 image만 볼 수 있음. 각 데이터들의 weighted sum.
• baseline : 각 벤치마크의 few-shot / finetune 모델
• data : MultiModal MassiveWeb(M3W, 1.8B), ALIGN(312M), Video & Text pairs(VTP, 27M)(딥러닝 학습의 목적으로 annotate된 데이터를 하나도 쓰지 않았다는 것에 의의!) -> 16개의 image/video and language 벤치마크 데이터
• evaluation : zero-shot / 32-shot에서 비교
• result : 대부분의 few-shot 모델에 대해 flamingo하나로 이기고. finetune 성능도 이긴 벤치마크 다수
• contribution : 아마 최초의 token generation 기반 vision & language 모델?
• limitation / things I cannot understand :

Details

• ECCV workshop 때 Jean-Baptiste가 flamingo를 하게 된 이유 / 하면서 느낀 점을 소개해준 적이 있음

introduction에 써있는거랑 비슷한 내용. CLIP류 연구를 했었는데 풀 수 있는 task가 한정적이었다. -> flamingo로 넘어감 결국 어떤 인터페이스가 다양한 태스크를 풀 수 있을 것인가? application에 적합할 것인가?를 문제의식으로 삼은 것 같당 문제 의식을 아키텍쳐가 아니라 풀 수 있는 task 들로 잡은 듯~ 흠 점점 아키텍쳐가 중요한게 아니라 데이터/학습/태스크 등이 중요한 것 같네.. 나는 이제 무얼 쌓아야 하나

Preliminaries

• Normalizer Free ResNet https://arxiv.org/pdf/2102.06171.pdf ResNet의 batch norm이 모델이 bs에 민감해지거나, 한 배치 내 이미지의 interaction에 영향을 받게 하는 효과가 있어서 이를 해결하기 위한 모델

• Perceiver https://arxiv.org/pdf/2103.03206.pdf

21년도 deep mind에서 image / video 등 다양한 modality를 효율적으로 표현할 수 있게. 비대칭적인 attention 모듈을 사용해서 a small set of latent units으로 점차 CA할 수 있도록(detr이랑 비슷한데 디테일이 좀 다를듯) image classification / audio / point cloud 등에서 comparable 성능 (c.f. Set Transformer가 most related work라고 하면서 계속 언급)

• Chinchiller 22년 3월에 딥마인드에서 나온 모델. https://arxiv.org/pdf/2203.15556.pdf 전작이 Gopher였는데 모델 사이즈만 커지고 학습 데이터는 그대로 써서 모델이 underfit 됐다고 판단. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. … 미친 넘들! model size를 두배 늘리면 num of tokens도 두배로 늘려야 한다는 발견 Gopher(280B)보다 파라미터 수는 4배 작지만 training data는 4배 늘려서 Gopher의 성능을 이긴 모델

학습 중간에 배치 사이즈를 키움 -> 왜? https://arxiv.org/pdf/2112.11446.pdf 120쪽짜리 읽으면 알 수 있을듯..

Dataset

• M3W 43M 웹페이지에서 HTML을 통해 이미지-텍스트를 뽑음. DOM 구조를 통해 상대적인 위치를 뽑음 텍스트 내에 token을 넣어서 이미지의 위치를 넣었고 (end of chunk) 토큰을 이미지 전 / 문서 마지막에 넣었음. 각 문서에 대해서 subsequence L=256개(너무 작은데? 각 이미지 앞에서 말하는거겠징?)의 토큰을 랜덤으로 뽑았고 최대 5개의 이미지를 넣었음

• ALIGN web에 alt text(tag)라는게 있는데 그거 사용해서 구축한 데이터 https://ai.googleblog.com/2021/05/align-scaling-up-visual-and-vision.html

Architecture

Objective

각 데이터에 대한 gradient를 accumulate하는게 순차적(round-robin)으로 하는것보다 더 좋았음 그리고 per-dataset weights인 $\lambda _m$을 튜닝하는게 성능에 크리티컬했다고 하넹

Results

Tanh gating

etc.

c.f. x-attn에서 x가 뭐지 하고 검색하다 발견 전체 finetuning 안하고 CA쪽만 해도 성능이 좋다는 논문. domain은 MT Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation https://arxiv.org/pdf/2104.08771.pdf