Sách Deep Learning cơ bản

14.2 Mạng U-Net với bài toán semantic segmentation 193
trong các CNN ngày nay như DenseNet để tránh vanishing gradient cũng như mang được các
thông tin cần thiết từ layer trước tới layer sau.
Loss function
Vì bài toán là phân loại cho mỗi pixel nên loss function sẽ là tổng cross-entropy loss cho mỗi pixel
trong toàn bộ bức ảnh.
Transposed convolution
Hình ở trên có kích thước là 6*6, hình ở dưới có kích thước là 4*4, kernel có kích thước 3*3.
Nếu ta thực hiện phép tính convolution với input là hình ở trên, padding = 0, stride = 1 và
kernel 3*3 thì ouput sẽ là hình ở dưới.
Phép tính transposed convolution thì sẽ ngược lại, input là hình ở dưới, padding = 0, stride = 1 và
kernel 3*3 thì output sẽ là hình ở trên. Các ô vuông ở hình trên bị đè lên nhau thì sẽ được cộng dồn.
Các quy tắc về stride và padding thì tương tự với convolution.
Mọi người có thể xem thêm ở đây.
14.2.2 Code
Nhận xét:
• Đây là phần code để tạo model, mô hình encoder và decoder đối xứng nhau hoàn toàn.
• Các conv layer đều dùng 3*3 và padding là same để giữ nguyên kích thước.
• Max pooling kích thước 2*2, mỗi lần pooling width, height giảm 1 nửa, nhưng layer sau đó
depth tăng gấp đôi.
• Up sampling kích thước 2*2, mỗi lần pooling width, height tăng gấp đôi, nhưng layer sau đó
depth giảm một nửa.
• Concatenate dùng để nối layer đối xứng ở encoder với layer hiện tại có cùng kích thước.
• Dropout cũng được sử dụng để tránh overfitting