ResNet

모델의 깊이

• 깊이가 깊어지면 모델복잡도가 올라가는데, Overfit이라고 할 수 있는가?
• VGGNet은 19층까지 실험하여, Overfit 이라고 말하고 있다. 그러면 그 이상은?
  
  
• 깊이가 깊어질수록 기울기 소실 문제가 발생한다. 그러면 Underfit 이 아닐까?
• 깊이가 깊어지면, 추상화가 많아진다. DeGradation 
• 훈련 데이터를 푸는 게 어려워진다.
• Residual Learning으로 해결한다.

Concat과 add 연산 비교

• concat: 피처맵의 채널이 증가된다. 피처맵의 표현력이 강화된다. 파라미터가 올라가서, 연산량도 올라간다.
  
  
• add: 피처맵의 채널이 유지되다.
  

Residual Learning

• Residual Learning은 add를 반복하는 것이다.
  
  

기울기와의 관계

• Backward: 역전파되는 기울기
• Residual: 역전파 되는 기울기가 감소하는 것을 방지한다.
• 수학적으로 본 덧셈 효과:
  역전파 미분 과정에서 각 항마다(더해진 항 포함) 미분이 발생하기 때문에 반복되는 미분이 0에 가까워 지는 것을 방지한다.