밑바닥부터 시작하는 딥러닝 - 미리보기

다. 이처럼 한 원소만 1로 하고 그 외는 0으로 나타내는 표기법을 원-핫 인코딩이라 한다고 했습
니다.
자, 평균 제곱 오차는 [식 4.1]과 같이 각 원소의 출력(추정 값)과 정답 레이블(참 값)의 차(y k
- t k
)를 제곱한 후, 그 총합을 구합니다. 그러면 이 평균 제곱 오차를 파이썬으로 구현해봅시다.
def mean_squared _error(y, t):
return 0.5 * np.sum((y-t)**2)
여기에서 인수 y와 t는 넘파이 배열입니다. 이 코드는 [식 4.1 ]을 그대로 구현한 것이니 설명은
생략합니다. 그러면 이 함수를 실제로 사용해보죠.
>>> # 정답은 '2'
>>> t = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]
>>>
>>> # 예1 : '2'일 확률이 가장 높다고 추정함(0.6)
>>> y = [0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0]
>>> mean_squared _error(np.array(y), np.array(t))
0.097500000000000031
>>>
>>> # 예2 : '7'일 확률이 가장 높다고 추정함(0.6)
>>> y = [0.1, 0.05, 0.1, 0.0, 0.05, 0.1, 0.0, 0.6, 0.0, 0.0]
>>> mean_squared _error(np.array(y), np.array(t))
0.59750000000000003
두 가지 예를 살펴봤습니다. 첫 번째의 예는 정답이 ‘2’고 신경망의 출력도 ‘2’에서 가장 높은 경
우입니다. 한편, 두 번째 예에서는 정답은 똑같이 ‘2’지만, 신경망의 출력은 ‘7’에서 가장 높습니
다. 이 실험의 결과로 첫 번째 예의 손실 함수 쪽 출력이 작으며 정답 레이블과의 오차도 작은
것을 알 수 있습니다. 즉, 평균 제곱 오차를 기준으로는 첫 번째 추정 결과가 (오차가 더 작으
니) 정답에 더 가까울 것으로 판단할 수 있습니다.
4.2.2 교차 엔트로피 오차
또 다른 손실 함수로서 교차 엔트로피 오차 cross entropy error, CEE 도 자주 이용합니다. 교차 엔트로피 오
차의 수식은 다음과 같습니다.
4장 - 신경망 학습
113