밑바닥부터 시작하는 딥러닝 - 미리보기

W!
W
ƞ
2 2 W L
[식 6.1]
2L
여기에서 W는 갱신할 가중치 매개변수고 2W은 W에 대한 손실 함수의 기울기입니다. ƞ는 학
습률을 의미하는데, 실제로는 0.01이나 0.001과 같은 값을 미리 정해서 사용합니다. 또, ←는
우변의 값으로 좌변의 값을 갱신한다는 뜻입니다. [식 6.1 ]에서 보듯 SGD는 기울어진 방향으
로 일정 거리만 가겠다는 단순한 방법입니다. 그러면 이 SGD를 파이썬 클래스로 구현해보죠
(나중에 사용할 것을 생각해 클래스 이름도 SGD로 했습니다).
class SGD:
def __init__(self, lr=0.01):
self.lr = lr
def update(self, params, grads):
for key in params.keys():
params[key] -= self.lr * grads[key]
초기화 때 받는 인수인 lr은 learning rate(학습률)를 뜻합니다. 이 학습률을 인스턴스 변수
로 유지합니다. update(params, grads) 메서드는 SGD 과정에서 반복해서 불리게 됩니다.
인수인 params와 grads는 (지금까지의 신경망 구현과 마찬가지로) 딕셔너리 변수입니다.
params['W1'], grads['W1'] 등과 같이 각각 가중치 매개변수와 기울기를 저장하고 있습니다.
SGD 클래스를 사용하면 신경망 매개변수의 진행을 다음과 같이 수행할 수 있습니다(다음 코
드는 실제로는 동작하지 않는 의사 코드입니다).
network = TwoLayerNet(...)
optimizer = SGD()
for i in range(10000):
...
x_batch, t_batch = get_mini_batch(...) # 미니배치
grads = network.gradient(x_batch, t_batch)
params = network.params
optimizer.update(params, grads)
...
optimizer 변수는 ‘최적화를 행하는 자’라는 뜻의 단어입니다. 이 코드에서는 SGD가 그 역할
6장 - 학습 관련 기술들
191