[66] Pointly-Supervised Instance Segmentation

TL;DR

task : instance segmentation
problem : 세그멘테이션 어노테이션 비용 너무 세다! weakly-supervised는 supervised의 85%정도 밖에 성능이 안나온다
idea : point level의 어노테이션을 하자! bbox를 먼저 어노테이션을 하고 그 중에 랜덤 10개의 점을 찍어서 어노테이터가 이게 background인지 object인지 binary 레이블링을 함.
architecture : mask RCNN
objective : 10개의 점에 대해서 나온 prediction에 대해 bi-linear interpolate를 한 뒤 cross entropy loss
baseline : fully supervised mask RCNN
data : ImageNet, COCO
result : ImageNet은 supervised의 97% 정도 성능, COCO는 99% 성능
contribution : 원래 세그멘테이션을 하는데 개당 79초 정도 걸리는데 이 방법론으로는 7초면 어노테이션 가능.
limitation or 이해 안되는 부분 : PointRend model 부분 안 읽음

augmentation 보통 사용하는 이미지 어그멘테이션 사용 + 학습 epoch 때마다 10 개중 5개 랜덤샘플링해서 그것만 사용해서 학습.
dice loss와 IoU의 차이 https://stackoverflow.com/questions/60268728/why-dice-coefficient-and-not-iou-for-segmentation-tasks

segmentation에는 dice, object detection에는 iou쓰는 듯. 딱히 그 이유는 없는듯?