Tổng quan về khai phá dữ liệu - Đại học Duy Tân

34
Chú ý trên mỗi dòng tổng số các tần xuất xuất hiện dự kiến được ghi trong cặp ngoặc ()
và tổng số tần xuất dự kiến trên mỗi cột bằng với tổng số tần xuất quan sát được trên cột đó.
Từ bảng dữ liệu cho thấy bậc tự do (r-1)(c-1) = (2-1)(2-1) = 1. Với 1 bậc tự do, giá trị
cần
để bác bỏ giả thiết này ở mức 0.001 là 10.828. Và với giá trị tính được như trên 507.93 cho thấy
giải thuyết sở thích đọc là độc lập với giới tính là không chắc chắn, hai thuộc tính này có một quan
hệ tương quan khá mạnh trong nhóm người được khảo sát.
3.3.2. Biến đổi dữ liệu
Trong phần này các dữ liệu sẽ được biến đổi sang các dạng phù hợp cho việc khai phá dữ
liệu. Các phương pháp thường thấy như:
- Làm mịn: Phương pháp này loại bỏ các trường hợp nhiễu khỏi dữ liệu ví dụ như các
phương pháp binning, hồi quy, nhóm cụm.
- Tổng hợp: trong đó tổng hợp hoặc tập hợp các hành động được áp dụng trên dữ liệu. Ví dụ
thấy rằng doanh số bán hàng hàng ngày có thể được tổng hợp để tính toán hàng tháng và hàng năm.
Bước này thường được sử dụng để xây dựng một khối dữ liệu cho việc phân tích.
- Khái quát hóa dữ liệu, trong đó các dữ liệu mức thấp hoặc thô được thay thế bằng các khái
niệm ở mức cao hơn thông qua kiến trúc khai niệm. Ví dụ, các thuộc tính phân loại ví dụ như
“Đường phố” có thể khái quát hóa lên mức cao hơn thành “Thành phố” hay “Quốc gia”. Tương tự
như vậy các giá trị số, như tuổi có thể được ánh xạ lên khái niệm cao hơn như “Trẻ”, “Trung niên”,
“Có tuổi”
- Chuẩn hóa, trong đó các dữ liệu của thuộc tính được quy về các khoảng giá trị nhỏ hơn ví
dụ như từ -1.0 đến 1.0, hoặc từ 0.0 đến 1.0
- Xác định thêm thuộc tính, trong đo các thuộc tính mới sẽ được thêm vào nguồn dữ liệu để
giúp cho quá trình khai phá.
Trong phần này chúng ta sẽ xem xét phƣơng pháp chuẩn hóa làm chủ đạo
Một thuộc tính được chuẩn hóa bằng cách ánh xạ một cách có tỉ lệ dữ liệu về một khoảng
xác định ví dụ như 0.0 đến 1.0. Chuẩn hóa là một phần hữu ích của thuật toán phân lớp trong mạng
noron, hoặc thuật toán tính toán độ lệch sử dụng trong việc phân lớp hay nhóm cụm các phần tử liền
kề. Chúng ta sẽ xem xét ba phương pháp: min-max, z-score, và thay đổi số chữ số phần thập phân
(decimal scaling)
a. Min-Max