[99] LinkNet: Relational Embedding for Scene Graph

paper

TL;DR

• I read this because.. : SGG two-stage 초기 논문
• task : two-stage SGG
• problem : 선행 연구들 중 하나. 이 논문 전에 neural motfis, #104, SGG with iterative message passing 정도 있었던 듯
• idea : 각 오브젝트들을 강화된 embedding으로 만들어서 예측하자!
• architecture : Faster-RCNN + object를 표현하는 임베딩을 만들고 이걸로 $O(n^2)$개 pair에 대해 relation cls 분류. global feature + od가 뽑은 cls에 대한 임베딩 + RoI visual feature + relative geometric 정보들이 들어감.
• objective : 1) 이미지 레벨에서 object class를 multi-label loss 2) 각 object에 대해 cls loss 3) relation classification loss
• baseline : neural motfis, #104, SGG with iterative message passing
• data : Visual Genome
• evaluation : SGdet, SGcls, PredCls
• result : sota
• contribution : simple !

Details

Architecture

• Global Context Encoding Module feature에 대해 AvgPool 한 뒤에 FC 붙여서 multi-label classification

• Relation Embedding Module Obejct feature $O_i$를 만드는데 OD가 예측한 cls $l_i$의 임베딩과 RoI pooling으로 뽑은 feature, image 전체의 context feature $c$를 해서 임베딩을 만들고, FCN을 쌓아서 cls를 예측한다

relation을 구할 때 geometric feature도 넣어준다

Loss

Result