[91] Deep Residual Learning for Image Recognition

paper

TL;DR

• I read this because.. : ResNet50과 101의 차이를 모름 ^^
• task : image classification, object detection
• problem : 레이어가 낮은 네트워크가 있고 거기에 identity mapping만 추가한 깊은 네트워크가 있을 때 사실상 같은 네트워크인데도 불구하고 깊은 네트워크의 training error가 더 높은 현상. 즉 깊을 수록 학습이 불안정하게 최적해를 찾음.
• idea : residual connection. f(x) + x를 하자. 이렇게 되면 깊은 레이어가 필요없으면 f(x)=0이 되어서 identity mapping을 하는 것과 같은 역할을 할 것.
• architecture : VGG의 원칙을 따라 1) 매 레이어의 필터 개수를 같게 설정 2) feature map크기가 반으로 줄면 filter 개수를 두배로 했지만 필터 개수가 VGG보다 작은 대신 더 깊게 쌓아서 파라미터수나 FLOPS는 VGG보다 낮음.
• objective : CE loss for classification, object detection loss
• baseline : VGG-16, GoogLeNet, plain(ResNet에 residual connection 뺀거)
• data : CIFAR-10, COCO 2015m ILSVRC 2015
• evaluation : accuracy, mAP, # params, FLOPS
• result : 이미지 분류에서 sota. object detection에서 성능 28% 개선
• contribution : residual connection

Details

Motivation

degration이라는 현상. 깊으면 training error가 더 높음. 즉 overfitting이 문제가 아니라 학습 자체가 잘 안된 상황

Residual learning

residual하는 block은 최소 2개 이상이어야(1개면 그냥 linear하는 효과), 차원도 같아야 함.

Network architecture

Network variants

궁금증 해결 ^^ 101개 레이어 쌓은 것임

training error on ImageNet

기타

초기 논문들 읽으면 재밌을 듯

• Neural Networks: Tricks of the Trade
• Understanding the difficulty of training deep feedforward neural networks https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf