Sách Deep Learning cơ bản

6.1 Bài toán XOR với neural network 91
Hình 6.1: Đường màu đỏ cho w (1)
11 , đường màu xanh cho x 1
Ta thấy w (1)
11
chỉ tác động đến a(1)
1
, cụ thể là a(1)
1
= σ(b (1)
1
+ x 1 ∗ w (1)
11 + x 2 ∗ w (1)
21 )
Tuy nhiên x 1 không những tác động đến a (1)
1
mà còn tác động đến a (1)
2
, nên khi áp dụng chain rule
tính đạo hàm của L với x 1 cần tính tổng đạo hàm qua cả a (1)
1
và a (1)
2
.
Do đó:
∂L
∂x 1
=
∂L
∂a (1)
1
∗ ∂a(1) 1
∂x 1
(1 − a (1)
2 ) ∗ w(2) 21 ∗ (y i − ŷ i )
+ ∂L
∂a (1)
2
∗ ∂a(1) 2
= w (1)
11
∂x ∗ a(1) 1
∗ (1 − a (1)
1 ) ∗ w(2) 11 ∗ (y i − ŷ i ) + w (1)
12 ∗ a(1) 2
∗
1