Sách Deep Learning cơ bản

168 Chương 12. Các kỹ thuật cơ bản trong deep learning
• Ở hình 1, thì đường phân chia có khá nhiều điểm bị lỗi => sự chênh lệch giữa mô hình dự
đoán và giá trị thực tế của dữ liệu cao => high bias, hay còn được gọi là underfitting, ý hiểu
là mô hình hiện tại đơn giản hơn và chưa mô tả được mô hình của dữ liệu thực tế.
• Ở hình 2, đường phân chia vẫn có lỗi nhưng ở mức chấp nhận được và nó có thể mô tả dữ
liệu => low bias, low variance.
• Ở hình 3, đường phân chia có thể dự đoán đúng tất cả các điểm trong training set nhưng vì nó
không tổng quát hóa mô hình dữ liệu thực sự nên khi áp dụng dự đoán vào validation set thì
sẽ có rất nhiều lỗi => high variance hay còn được gọi là overfitting, ý hiểu là mô hình hiện
tại thực hiện tốt với dữ liệu trong traing set nhưng dự đoán không tốt với validation set.
Thực ra khái niệm high bias và high variance khá trìu tượng và nhiều lúc dùng nhầm lẫn giữa thống
kê và machine learning. Nên khái niệm hay được dùng hơn là underfitting và overfitting.
Hình 12.3: Các điểm màu xanh là training set, điểm màu đỏ là validation set
Ví dụ khi luyện thi đại học, nếu bạn chỉ luyện khoảng 1-2 đề trước khi thi thì bạn sẽ bị underfitting
vì bạn chưa hiểu hết cấu trúc, nội dung của đề thi. Tuy nhiên nếu bạn chỉ luyện kĩ 50 đề thầy cô
giáo bạn soạn và đưa cho thì khả năng bạn sẽ bị overfitting với các đề mà thầy cô giáo các bạn soạn
mà khi thi đại học có thể điểm số của các bạn vẫn tệ.
12.3.2 Bias, variance tradeoff
Nếu model quá đơn giản thì ta sẽ bị high bias và low variance. Tuy nhiên nếu model quá phức tạp
thì sẽ bị high variance và low bias. Đấy là bias, variance tradeoff. Do đó để train được model tốt ta
cần cân bằng giữa bias và variance.
12.3.3 Đánh giá bias and variance
Có 2 thông số thường được sử dụng để đánh giá bias and variance của mô hình là training set error
và validation set error. Ví dụ error (1-accuracy) trong logistic regression.
Train set error 1% 15% 15% 0.5%
Val set error 11% 16% 30% 1%
High variance High bias High bias High variance Low bias Low variance
Ta mong muốn model là low bias và low variance. Cùng xem một số cách để giải quyết vấn đề high
bias hoặc high variance nhé.
Giải quyết high bias (underfitting): Ta cần tăng độ phức tạp của model
• Tăng số lượng hidden layer và số node trong mỗi hidden layer.
• Dùng nhiều epochs hơn để train model.
Giải quyết high variance (overfitting):
• Thu thập thêm dữ liệu hoặc dùng data augmentation