Sách Deep Learning cơ bản

88 Chương 6. Backpropagation
Từ đồ thị ta thấy:
∂ŷ i
∂b (2) = ŷ i ∗ (1 − ŷ i )
1
∂ŷ i
∂w (2) = a (1)
1
∗ ŷ i ∗ (1 − ŷ i )
11
∂ŷ i
∂w (2) = a (1)
2
∗ ŷ i ∗ (1 − ŷ i )
21
∂ŷ i
∂a (1) = w (2)
11 ∗ ŷ i ∗ (1 − ŷ i )
1
∂ŷ i
∂a (1) = w (2)
21 ∗ ŷ i ∗ (1 − ŷ i )
2
Do đó
∂L
∂b (2)
1
Tương tự
∂L
∂w (2)
11
= ∂L ∗ ∂ŷ i
∂ŷ i ∂b (2) = −( y i
− 1 − y i
ŷ i (1 − ŷ i ) )∗ŷ i ∗(1−ŷ i ) = −(y i ∗(1−ŷ i )−(1−y i )∗ŷ i )) = ŷ i −y i
1
= a (1)
1
∗ (ŷ i − y i )
∂L
∂w (2)
21
∂L
∂a (1)
1
= a (1)
2
∗ (ŷ i − y i )
= w (2)
11 ∗ (ŷ i − y i )