[144] Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

paper , code

TL;DR

• I read this because.. : 생계형 논문 읽기..
• task : MLLM
• problem : chinese도 되는 multi-lingual MLLM. finegrained task(grounding)도 하자
• idea : training 단계를 세개로 나눠서 학습.
• input/output : image, text -> text
• architecture : ViT-G/14 + Q-former + Qwen-7B
• objective : CE loss
• baseline : Flamingo, UnifiedIO, Kosmos, BLIP-2, InstrcutBLIP, Shikra, Pix2Struct, …
• data : captioning(LAION-en/zh, Datacomp, COYO, CC, SBU, COCO, in-house data), VQA(GQA, VGQA, VQAv2, DVQA, OCR-VQA, DocVQA, TextVQA, ChartQA, AI2D), Grounding(GRIT, VG, RefCOCO(+, g), OCR(synthDoG, Common Crawl…)), Pure-text (in-house)
• evaluation : benchmarks, instruction-following benchmarks(TouchStone, SEED, MME)
• result : sota
• contribution : multi-lingual lvlm
• etc. : filtering 전략이 중요한건가? text only data도 썼는데 학습이 다 완료된걸 안가져와서.. 아닌가 그게 오히려 성능 더 좋아지는데 기여했나.. 여러모로 뭔가 ablation이 잘안돼서 어렵군

Details

• performance

architecture

256이 가장 좋았다고 함

Inputs / Outputs

별도의 instruction이 크게 안쓰였군. <ref>나 <box>같은 special token이 쓰였고 안에 bbox 좌표 같은건 따로 스페셜 토큰 안썼다고 함

training pipeline

• 달라지는 hparam

resolution up / seq len up

• stage마다 달라지는 데이터셋

pre-training stage

COYO가 alt-text류 중에 가장 살아남은 비율이 높은게 흥미롭군 딱 이미지 한번씩만 봤다고 함 ㅋㅋ 이 filtering rule은 자세하게 안적혀있는데 appendix에서 아래와 같이

clip score를 아주 강하게 남겼다고 하넹..

Multi-task Pre-training

Supervised Finetuning

이것도 자세히 안나와 있는데 manual annotation, model generation, 벤치마크 데이터 concat해가지고 multi-turn으로 만들었다고 함 (중요한 것 같은데.. ㅜㅜ)

Result

벤치마크 성능들은 생략

instruction following benchmark

Few-shot ability

text only benchmark

Qwen LM을 학습된 중간 껄 썼는데 다른 이유는 없고 그냥 둘이 거의 동시에 개발중이었다고 ㅋㅋ