Sách Deep Learning cơ bản

6.1 Bài toán XOR với neural network 89
∂L
∂a (1)
2
= w (2)
21 ∗ (ŷ i − y i )
Biểu diễn dưới dạng ma trận
*** Lưu ý: đạo hàm của L đối với ma trận W kích thước m*n cũng là một ma trận cùng kích thước
m*n.
∂J
Do đó,
∂W (2) = (A(1) ) T ∂J
∗ (Ŷ −Y ),
∂b (2) = (sum(Ŷ −Y ∂J
))T ,
∂A (1) = (Ŷ −Y ) ∗ (W (2) ) T , phép tính
sum tính tổng các cột của ma trận.
Vậy là đã tính xong đạo hàm của L với hệ số W (2) ,b (2) . Giờ sẽ đi tính đạo hàm của L với hệ số
W (1) ,b (1) . Khoan, tưởng chỉ cần tính đạo hàm của L với các hệ số W và bias b, tại sao cần tính đạo
hàm của L với A (1) ??? Khi tính đạo hàm của hệ số và bias trong layer trước đấy sẽ cần dùng đến.
Tính đạo hàm L với W (1) ,b (1)
Do a (1)
1
= σ(b (1)
1
+ x 1 ∗ w (1)
11 + x 2 ∗ w (1)
21 )
Áp dụng chain rule ta có:
Ta có:
∂a (1)
1
∂b (1)
1
Do đó
∂L
∂b (1)
1
Tương tự
∂L
∂L
∂w (1)
21
∂L
∂w (1)
22
∂w (1)
11
∂L
∂w (1)
12
= ∂a(1) 1
z (1)
1
∂L
∂b (1)
1
= ∂L
∂a (1)
1
∗ ∂a(1) 1
∂b (1)
1
∗ z(1) 1
∂b (1) = a (1)
1
∗ (1 − a (1)
1 )
1
= a (1)
1
∗ (1 − a (1)
1 ) ∗ w(2) 11 ∗ (ŷ i − y i )
= x 1 ∗ a (1)
1
∗ (1 − a (1)
1 ) ∗ w(2) 11 ∗ (ŷ i − y i )
= x 1 ∗ a (1)
2
∗ (1 − a (1)
2 ) ∗ w(2) 11 ∗ (ŷ i − y i )
= x 2 ∗ a (1)
1
∗ (1 − a (1)
1 ) ∗ w(2) 21 ∗ (ŷ i − y i )
= x 2 ∗ a (1)
2
∗ (1 − a (1)
2 ) ∗ w(2) 21 ∗ (ŷ i − y i )