| 내용 |
손실함수란 모델을 통해 얻은 출력 값과 실제 값 사이의 오차를 나타내는 함수입니다.
예를 들면 MNIST 데이터셋의 경우 숫자 5의 라벨 값은 [0,0,0,0,0,1,0,0,0,0] 형태의 벡터 값으로 표현됩니다. 그런데 실제 모델의 추론 값은 [0.01, 0.01, 0.01, 0.02, 0.01, 0.90, 0.01, 0.01, 0.01, 0.01] 으로 나올 수 있습니다. 그래서 오차를 축정해야 할 필요가 생깁니다.
오차를 측정하는 방법에는 여러가지 방법이 있습니다. 대표적인 예로 선형회귀모델에서 사용하는 평균제곱오차, 유클리드제곱거리 등이 있습니다. 그러나 예제에서는 주로 '크로스 엔트로피 함수(Cross Entropy Function)'라는 손실함수를 사용합니다.
크로스 엔트로피 함수는 모델의 예측 값이 실제 값을 설명하는데 얼마나 비효율적인지를 나타내 줍니다. 즉 값이 작을수록 손실이 작아지게 되고 잘 만들어진 모델입니다.
위 식에서 y'와 y는 실제 값의 분포와 예측된 확률분포를 의미합니다. 위 표현식을 살펴보면 실제 값과 예측 값의 차이가 크면 클수록 계산되는 크로스 엔트로피 값(H)이 커짐을 알 수 있습니다. 반대로 그 차이가 작을수록 크로스 엔트로피 값(H) 역시 작아집니다. 따라서 최적화 과정은 이러한 크로스 엔트로피를 최소화 하는 가중치 W와 편향 b를 찾는 것을 의미합니다.
크로스 엔트로피(손실) 낮추기
|