Sách Deep Learning cơ bản

92 Chương 6. Backpropagation
6.2 Mô hình tổng quát
Hình 6.2: Mô hình neural network
Bạn có thể xem lại biểu diễn dạng ma trận với neural network ở bài trước.
1. Bước 1: Tính ∂J , trong đó Ŷ = A(3)
∂Ŷ
∂J
2. Bước 2: Tính
∂W ˆ = (3) (A(2) ) T ∗( ∂J
∂Ŷ ⊗ ∂A(3)
∂Z (3) ), ∂J ∂J
∂b (3) ˆ = (sum(
∂Ŷ ⊗ ∂A(3)
∂Z (3) ))T và tính
∂J
∂A (2) ˆ =
( ∂J
∂Ŷ ⊗ ∂A(3)
∂Z (3) ) ∗ (W (3) ) T
∂J
3. Bước 3: Tính
∂W ˆ = (2) (A(1) ) T ∗ ( ∂J ∂A(2)
⊗
∂A (2) ∂Z (2) ), ∂J ∂J ∂A(2)
∂b (2) ˆ = (sum( ⊗
∂A (2) ∂Z (2) ))T và tính
∂J ∂J ∂A(2)
∂A (1) ˆ = ( ⊗
∂A (2) ∂Z (2) ) ∗ (W (2) ) T
∂J
4. Bước 4: Tính
∂W ˆ = (1) (A(0) ) T ∗ ( ∂J ∂A(1)
⊗
∂A (1) ∂Z (1) ), ∂J ∂J ∂A(1)
∂b (1) ˆ = (sum( ⊗
∂A (1) ∂Z (1) ))T , trong
đó A (0) = X
Nếu network có nhiều layer hơn thì cứ tiếp tục cho đến khi tính được đạo hàm của loss function J
với tất cả các hệ số W và bias b.
Nếu hàm activation là sigmoid thì ∂A(i)
∂Z (i) = A(i) ⊗ (1 − A (i) )
Ở bài trước quá trình feedforward