log likelihood1 교차 엔트로피(Cross Entropy)와 로그우도(Log Likelihood) 목적함수: 교차 엔트로피(Cross Entropy)와 로그우도(Log Likelihood) MSE(Mean Square Error, 또는 L2 loss)로 살펴보기 정답레이블이 0인 상황에서 예측값(o)이 각각 0.7503, 0.9971 나온 두 경우를 생각해보자. 후자(0.9971)가 조금 더 큰 에러가 발생했으므로, 더 큰 그레디언트로 가중치(weight)를 갱신시켜 주어야 할 것이다. 하지만, $$ e = \frac{1}{2}(y - o)^2 = \frac{1}{2}(y-\sigma(wx+b))^2 \ where, \sigma(x) = \frac{1}{1 + e^{-x}} (sigmoid) $$ MSE 식에서 각각 파라미터 w와 b로 미분을 해보면, $$ \frac{\partial e}{\parti.. 2019. 8. 29. 728x90 이전 1 다음
