Sách Deep Learning cơ bản

6. Backpropagation
Bài trước đã học về mô hình neural network và feedforward, giờ ta cần đi tìm hệ số W và b. Có thể
nghĩ ngay tới thuật toán gradient descent và việc quan trọng nhất trong thuật toán gradient descent
là đi tìm đạo hàm của các hệ số đối với loss function. Bài này sẽ tính đạo hàm của các hệ số trong
neural network với thuật toán backpropagation.
Bạn nên hoàn thành bài neural network trước khi bắt đầu bài này và bài này là không bắt buộc để
theo các bài tiếp theo trong sách.
6.1 Bài toán XOR với neural network
Bảng chân lý cho toán xử XOR
A B A XOR B
0 0 0
0 1 1
1 0 1
1 1 0
Bài trước đã chứng minh là mô hình logistic regression trong bài 2 không thể biểu diễn được toán
tử XOR. Để biểu diễn toán tử XOR ta cần thêm 1 hidden layer với 2 node.