[86] Graph R-CNN for Scene Graph Generation

paper

TL;DR

• I read this because.. : sgg 초기 논문
• task : Scene Graph Generation
• problem : object 뽑고 quadratic한 relation을 잘 다뤄보자. 강화된 그래프 표현을 만들어보자.
• idea : object 간의 relation을 pruning하는 모듈을 중간에 넣자. attentional GCN을 적용하자.
• architecture : 1) Faster RCNN으로 Object 뽑고 2) object cls logit 값들 concat해서 relation pruning 3) attentional GCN을 적용해서 object, relation 노드의 표현을 강화 -> 각 subject, object, relation 표현에 classifier 붙여서 예측한듯?
• objective : 1) bbox loss + cls loss 2) bce for relationship score 3) ce for object cls and predicate cls
• baseline : IMP, MSDN, NeuralMotif
• data : Visual Genome
• evaluation : PredCls, PhrCls, SGGen, SGGen+(proposed in this paper)
• result : SOTA
• contribution : 아마 GCN을 적용한 최초의 논문이 아닐런지?
• limitation / things I cannot understand : SGG은 정말 GCN을 쓸 정도로 graph 적인 특성을 가지고 있는가?

Details

Architecture

3단계로 나눔

1. Object Region Proposal : image가 주어졌을 때 node(=vertex, V)들 뽑기 => Faster RCNN
2. Relationship Proposal : image와 node가 주어졌을 때 모든 경우의 수 n*(n-1)에서 있을만한 relation pruning
3. Graph Labeling : image, node, edge가 주어졌을 때 relation과 object 찾기

Relation Proposal Network

object의 class logit을 사용하여 “relatedness"를 측정. 일종의 soft한 prior를 주는 형식(가령, person-ride-chicken은 될 수 없으니?)

구현은 cat한 뒤에 MLP 쌓음. score를 매겨서 sorting을 한 뒤에 K개의 pair를 뽑음. Faster RCNN이기 때문에 많이 나올거라서 pair에 대한 NMS를 해서 top m개의 pair만 남김

Attentional GCN

Vanilla GCN은 아래와 같음

• $z_i$ : i번째 node의 표현
• $N(i)$ : i번째 node의 neighbor들
• $\alpha_{ij}$ : i와 j의 adjacency matrix에 의해 만들어지는 connection coefficient

이를 $Z\in \mathbb{R}^{d\times T_n}$라는 matrix로 표현하면

우리는 여기서 $\alpha_{ij}$를 주어지는게 아니라 학습하려고 함

2 layer MLP + softmax로 $\alpha_{ij}$가 학습

aGCN for SGG

N개의 Object region들과 m개의 relationship을 각각 node로 만들고 위의 네트워크에서 나온걸로 edge들을 연결해줌. 추가적으로 object간에는 direct edge들을 추가해줌.

object node에 대한 표현은 아래와 같음

relation node에 대한 표현은 아래와 같음.

Result

Ablation for modules