Sách Deep Learning cơ bản

3.4 Ma trận 47
nhất của hàm:
J(w 0 ,w 1 ) = 1 2 ∗ ( N
∑
i=1(w 0 + w 1 ∗ x i − y i ) 2 )
Việc tìm giá trị lớn nhất hàm này hoàn toàn có thể giải được bằng đại số nhưng để giới thiệu thuật
toán Gradient descent cho bài Neural network nên tôi sẽ áp dụng Gradient descent luôn.
Việc quan trọng nhất của thuật toán gradient descent là tính đạo hàm của hàm số nên giờ ta
sẽ đi tính đạo hàm theo từng biến.
Nhắc lại kiến thức h’(x) = f(g(x))’ = f’(g)*g’(x). Ví dụ:
h(x) = (3x + 1) 2 thì f (x) = x 2 ,g(x) = 3x + 1 => h ′ (x) = f ′ (g) ∗ g ′ (x) = f ′ (3x + 1) ∗ g ′ (x) =
2 ∗ (3x + 1) ∗ 3 = 6 ∗ (3x + 1).
Tại 1 điểm (x i ,y i ) gọi f (w 0 ,w 1 ) = 1 2 ∗ (w 0 + w 1 ∗ x i − y i ) 2
Ta có:
d f
dw 0
= w 0 + w 1 ∗ x i − y i
d f
dw 1
= x i ∗ (w 0 + w 1 ∗ x i − y i )
Do đó
dJ
=
dw 0
N
∑
i=1
(w 0 + w 1 ∗ x i − y i )
dJ
=
dw 1
N
∑
i=1
x i ∗ (w 0 + w 1 ∗ x i − y i )
3.4 Ma trận
3.4.1 Ma trận là gì
Ma trận là một mảng chữ nhật có m hàng và n cột, ta gọi là ma trận m * n (số hàng nhân số cột).