Internal Covariance Shift ㅇ 학습에서 불안정화가 일어나는 이유를 'Internal Covariance Shift' 라고 주장하고 있는데, 이는 네트워크의 각 레이 어나 Activation 마다 입력값의 분산이 달라지는 현상을 뜻한다. - Covariate Shift : 이전 레이어의 파라미터 변화로 인하여 현재 레이어의 입력의 분포가 바뀌는 현상 - Internal Covariate Shift : 레이어를 통과할 때 마다 Covariate Shift 가 일어나면서 입력의 분포가 약간씩 변하는 현상 Whitening ㅇ 이 현상을 막기 위해서 간단하게 각 레이어의 입력의 분산을 평균 0, 표준편차 1인 입력값으로 정규화 시키는 방법을 생각해볼 수 있다. 이는 'Whitening' 이라..

Regularization ㅇ 오버피팅 (너무 높은 complexity)을 예방하고 Generalization 성능을 높이기 위해 쓰는 방법이 Regularization (훈련 시 모델에 제약) ㅇ Regularization에는 대표적으로 L1 Regularization, L2 Regularization, drop out, early stopping 등이 있다 Normalization(정규화) ㅇ 이 기법은 데이터들을 scaling하는데 사용 ㅇ 데이터의 규모가 너무 크면 노이즈가 생성되기 쉽고, 오버피팅이 쉽게 일어남 ㅇ 정규화를 통해 데이터 값의 분포 범위를 compact하게 만들어주고, 이는 학습 속도에도 영향을 줌. 또한 Local optimum 문제 (학습 시 오차를 최소화 시키는 과정에서 최저..

ㅇ 오버피팅 방지 - 데이터 1) 층화추출, 랜덤샘플링 2) 10-cross validation 3) nomalization 4) 차원 축소 - 모델 1) dropout 2) early stopping

ㅇ 옵티마이저란 딥러닝, 머신러닝 학습 프로세스에서 실제로 파라미터를 갱신시키는 부분을 의미. 실제 가중치 변화를 주는 부분 ㅇ 손실함수를 기준으로 경사를 하강하며 오차를 수정 1. Gradient descent(GD) - 가장 기본이 되는 옵티마이저 알고리즘으로 경사를 따라 내려가면서 손실이 0이 되게 가중치를 업데이트 시킴 2. Stochastic gradient decent(SGD) - full batch가 아닌 mini batch로 학습 진행 - 빠르게 mini batch별로 학습하면서 기울기를 수정 3. Momentum - 현재 batch로만 학습하는 것이 아니라 이전의 batch 학습결과도 반영 (현재 batch에 의해 학습이 크게 바뀌지 않게하기 위해 이전의 학습결과를 보통 0.9반영하고 현..

ㅇ 딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과 시킨 후 전달한다. 이때 사용하는 함수를 활성화 함수(Activation Function) 이라 부른다. 1. 소프트 맥스 함수 - 소프트맥스 함수는 범주 수만큼의 차원을 갖는 입력벡터를 받아서 확률(요소의 합이 1)로 변환해줌 - 소프트맥스 함수는 모든 출력 값의 상대적인 크기를 고려한 값을 출력하기 때문에, 다 범주 분류 신경망에 적합 - 소프트맥스는 가중치의 합이 1이 되도록 정규화하여 확률분포를 만들어 줌 - 예측이 잘 이루어지지 않으면 여러 레이블이 비슷한 확률을 가지게 될 수 있다 2. 시그모이드 함수 - 0 또는 1 로 결과가 나오므로 이진분류에 좋음 - 값이 0 또는 1에 수렴..

손실함수란 인공지능 모델이 예측한 답과 원래 정답의 오차를 표현, 판단하는 함수를 말한다. 인공지능의 성능을 증명하는 가장 주요한 지표 중 하나이다. ㅇ 회귀 분석에서는 MSE나 RMSE를 손실함수로 사용 ㅇ 다항 클래스 분류 - categorical crossentropy 즉,범주형 교차 엔트로피 사용 - 다항클래스 분류에서 one hot encoding이 안 돼 있고 정수형일때는 sparse_categorical_crossentropy 사용 ㅇ 이진 분류에서는 binary_crossentropy (이항 교차 엔트로피) 를 손실함수로 사용