Sách Deep Learning cơ bản

VII
Recurrent Neural Network
15 Recurrent neural network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
15.1 Recurrent Neural Network là gì? 199
15.1.1 Dữ liệu dạng sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
15.1.2 Phân loại bài toán RNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
15.1.3 Ứng dụng bài toán RNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
15.2 Mô hình bài toán RNN 201
15.2.1 Mô hình RNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
15.2.2 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
15.2.3 Backpropagation Through Time (BPTT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
15.3 Bài tập 204
16 Long short term memory (LSTM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
16.1 Giới thiệu về LSTM 205
16.2 Mô hình LSTM 206
16.3 LSTM chống vanishing gradient 207
16.4 Bài tập 208
17 Ứng dụng thêm mô tả cho ảnh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
17.1 Ứng dụng 209
17.2 Dataset 210
17.3 Ứng dụng 211
17.4 Phân tích bài toán 211
17.5 Các bước chi tiết 212
17.5.1 Image embedding với Inception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
17.5.2 Text preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
17.5.3 Word embedding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
17.5.4 Output . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
17.5.5 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
17.6 Python code 214
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Articles 225
online 225
Books 227