Sách Deep Learning cơ bản

12 Các kỹ thuật cơ bản trong deep learning . . . . . . . . . . . . . . . . . . . . . 163
12.1 Vectorization 163
12.2 Mini-batch gradient descent 164
12.2.1 Mini-batch gradient descent là gì . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
12.2.2 Các thông số trong mini-batch gradient descent . . . . . . . . . . . . . . . . . . . . . 166
12.3 Bias và variance 167
12.3.1 Bias, variance là gì . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
12.3.2 Bias, variance tradeoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
12.3.3 Đánh giá bias and variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
12.4 Dropout 169
12.4.1 Dropout là gì . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12.4.2 Dropout hạn chế việc overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12.4.3 Lời khuyên khi dùng dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
12.5 Activation function 170
12.5.1 Non-linear activation function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
12.5.2 Vanishing và exploding gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
12.5.3 Một số activation thông dụng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
12.6 Bài tập 174
VI
Computer Vision Task
13 Object detection với Faster R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
13.1 Bài toán object detection 177
13.2 Faster R-CNN 178
13.2.1 R-CNN (Region with CNN feature) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
13.2.2 Fast R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
13.2.3 Faster R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
13.3 Ứng dụng object detection 187
13.4 Bài tập 187
14 Image segmentation với U-Net . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
14.1 Bài toán image segmentation 189
14.1.1 Phân loại bài toán image segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
14.1.2 Ứng dụng bài toán segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
14.2 Mạng U-Net với bài toán semantic segmentation 192
14.2.1 Kiến trúc mạng U-Net . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
14.2.2 Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
14.3 Bài tập 196