Sách Deep Learning cơ bản

62 Chương 4. Logistic regression
Thực ra mọi người không cần vẽ đồ thị quá chi tiết như trên chỉ dùng để tách phép tính khi
mà nó phức tạp
4.5.1 Áp dụng gradient descent
Với mỗi điểm (x (i) ,y i ), gọi hàm loss function
L = −(y i ∗ log(ŷ i ) + (1 − y i ) ∗ log(1 − ŷ i )) trong đó ŷ i = σ(w 0 + w 1 ∗ x (i)
1 + w 2 ∗ x (i)
2
) là giá trị
mà model dự đoán, còn y i là giá trị thật của dữ liệu.
Nhắc lại đạo hàm cơ bản, d(log(x)) = 1 dx x
dL
Áp dụng chain rule ta có: = dL ∗ dŷ i
dw 0 dŷ i dw 0
dL
= − d(y i ∗ log(ŷ i ) + (1 − y i ) ∗ log(1 − ŷ i ))
= −( y i
− 1 − y i
dŷ i dŷ i
ŷ i (1 − ŷ) )