Regularization과 Normalization

Regularization

ㅇ 오버피팅 (너무 높은 complexity)을 예방하고 Generalization 성능을 높이기 위해 쓰는 방법이

    Regularization (훈련 시 모델에 제약)

ㅇ Regularization에는 대표적으로 L1 Regularization, L2 Regularization, drop out, early stopping 등이 있다

 

 

Normalization(정규화)

ㅇ 이 기법은 데이터들을 scaling하는데 사용

ㅇ 데이터의 규모가 너무 크면 노이즈가 생성되기 쉽고, 오버피팅이 쉽게 일어남

ㅇ 정규화를 통해 데이터 값의 분포 범위를 compact하게 만들어주고, 이는 학습 속도에도 영향을 줌.

    또한 Local optimum 문제 (학습 시 오차를 최소화 시키는 과정에서 최저점이 잘못 잡힘) 에 빠지는 가능성을 줄여줌

ㅇ 대표적인 방법에는 Batch Norm이 있다.