Tổng quan về khai phá dữ liệu - Đại học Duy Tân

31
- Khi làm mịn trung vị trong mỗi bin, các giá trị sẽ được thay thế bằng giá trị trung bình
các giá trị có trong bin
- Làm mịn biên: các giá trị nhỏ nhất và lớn nhất được xác định và dùng làm danh giới của
bin. Các giá trị còn lại của bin sẽ được thay thế bằng một trong hai giá trị trên tùy thuộc vào độ lệch
giữa giá trị ban đầu với các giá trị biên đó.
Ví dụ, bin 1 có các giá trị 4, 8, 15 với giá trị trung bình là 9. Do vậy nếu làm mịn trung vị
các giá trị ban đầu sẽ được thay thế bằng 9. Còn nếu làm mịn biên giá trị 8 ở gần giá trị 4 hơn nên
nó được thay thế bằng 4.
b. Hồi quy: Phương pháp thường dùng là hồi quy tuyến tính, để tìm ra được một mối quan
hệ tốt nhất giữa hai thuộc tính (hoặc các biến), từ đó một thuộc tính có thể dùng để dự đoán thuộc
tính khác. Hồi quy tuyến tính đa điểm là một sự mở rộng của phương pháp trên, trong đó có nhiều
hơn hai thuộc tính được xem xét, và các dữ liệu tính ra thuộc về một miền đa chiều.
Hình 3.1. Phân cụm dữ liệu khách hàng dựa trên thông tin địa chỉ
c. Nhóm cụm: Các giá trị tương tự nhau được tổ chức thành các nhóm hay “cụm" trực quan.
Các giá trị rơi ra bên ngoài các nhóm này sẽ được xem xét để làm mịn để đưa chúng
3.3. Tích hợp và biến đổi dữ liệu
3.3.1. Tích hợp dữ liệu
Trong nhiều bài toán phân tích, chúng ta phải đồng ý rằng nguồn dữ liệu dùng để phân tích
không thông nhất. Để có thể phân tích được, các dữ liệu này cần phải được tích hợp, kết hơp thành
một kho dữ liệu thống nhất. Về dạng thức, các nguồn dữ liệu có thể được lưu trữ rất đa dạng từ: các
cơ sở dữ liệu phổ dụng, các tập tin flat-file, các dữ liệu khối …. Vấn đề đặt ra là làm thế nào có thể
tích hợp chúng mà vẫn đảm bảo tính tương đương của thông tin giữa các nguồn.