Sách Deep Learning cơ bản

4.5 Chain rule 61
Do đó
d(2x + 1)2
dx
= 2 ∗ (2x + 1) ∗ 2 ∗ 1 = 4 ∗ (2x + 1)
Thực ra nếu bạn để ý biểu đồ chính là chain rule:
2 ∗ (2x + 1) ∗ 2 = 4 ∗ (2x + 1)
d(2x + 1)2
dx
=
d(2x + 1)2
d(2x + 1)
∗
d(2x + 1)
d(2x)
∗ d(2x)
dx
=
Chỉ là biểu đồ dễ nhìn hơn.
Thử áp dụng tính đạo hàm của hàm sigmoid σ(x) = 1
1 + e −x .
Nhắc lại kiến thức đạo hàm cơ bản d( 1 x )
dx
= −1
x 2 , d(ex )
= e x
dx
Do đó d(σ(x))
dx
= d( 1
1+e
) −x =
dx
−1
(1 + e −x ) 2 ∗ 1 ∗ e−x ∗ (−1) =
e −x
(1 + e −x ) 2
= 1
1 + e −x ∗ e −x
1 + e −x = 1
1
∗ (1 − ) = σ(x) ∗ (1 − σ(x))
1 + e−x 1 + e−x