[42] DETRs with Hybrid Matching

TL;DR

task : object detection, pose estimation, object tracking, label assignment
problem : DETR에서 hungarian one-to-one matching을 하는 부분 때문에(그 덕에 NMS 같은걸 안해도 되었지만), positive pair가 너무 없어 학습이 효율적이지 못함.
idea : hybrid matching. one-to-one matching 하나 하고, one-to-many matching(그냥 gt 여러번 복사하면 됨)도 함. 이걸 auxilary loss처럼 모든 레이어에 대해서 함.
architecture : deformable DETR
objective : 각 task에 맞는 목적 함수
baseline : deformable DETR, PETR, 3DETR…
data : …
result : 성능 gain. 학습 속도는 one-to-one matching을 할때 1epoch에 65분 정도 였다면 hybrid matching을 하면 85분
contribution : 간단한 trick으로 성능 개선.

query embedding들 넣을 때, K개의 그룹을 나누고 그 그룹 내에서만 query들이 interaction 할 수 있음.