Paper - Hogeschool Gent

Inhoudsopgave
1 Introductie 1
2 Theoretische achtergrond 3
2.1 Inleiding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Feature selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2.1 Document Frequency . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2.2 Collection Frequency . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2.3 Mutual information . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2.4 Featurebewerkingen . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2.5 Andere methodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Text classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.1 Multinomial Naive Bayes . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.2 Binomial Naive Bayes . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.3 Support Vector Machines . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.4 Andere methodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.1 Ruimte voor verbetering . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.2 K-means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.3 Andere methodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3 Data 24
3.1 Oorsprong en eigenschappen . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2 Vereiste data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.1 Positieve documenten . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.2 Negatieve documenten . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2.3 Realistische test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
vi