Paper - Hogeschool Gent

Hoofdstuk 5. Resultaten 37
Bij de uiteindelijke beoordeling van een classifier wordt gekeken naar het gebied onder de
curve (Area Under the Curve of AUC, voor meer uitleg zie Tape (2012)). Een rudimentaire
indeling voor classifiers aan de hand van hun AUC is als volgt :
90-100% = excellent
80-90% = goed
70-80% = redelijk
60-70% = zwak
50-60% = slecht
Een interessante eigenschap van ROC curves is bovendien dat ze ongevoelig zijn voor onge-
lijke klassenverdeling (Fawcett (2006)). Dit laatste betekent dat er een grote ongelijkheid
is tussen de groottes van de verschillende klassen. In hoofdstuk 3.2.3 (p. 29) rond realis-
tische data hebben we reeds kunnen besluiten dat dit bij ons het geval is. De resultaten
op verdere pagina’s zullen trouwens aantonen dat een ongelijke klassenverdeling een grote
invloed heeft op de kwaliteit van de classifier.
De gegevens nodig voor het genereren van de ROC-curves waren alleen vlot beschikbaar
bij eigen implementaties. Daarom is er geen ROC-data voor de SVM classifier die getest
werd aan de hand van een open source bibliotheek (Waldvogel (2011)).
5.1 Feature selector
Voor het kiezen van een feature selector zijn er drie keuzes. De opties werden hierboven
reeds besproken (zie paginanummers tussen haakjes). Voor het verdere verloop van dit
hoofdstuk zal gebruikgemaakt worden van de afkortingen.
1. Collection frequency (CF, p. 5)
2. Document frequency (DF, p. 4)
3. Mutual information (MI, p. 5)
Figuur 5.2 (p. 38) geeft een overzicht van de F1 measure wanneer MNB (multinomial naive
bayes) gecombineerd wordt met verschillende feature selectors. De cijfergegevens die hier-
voor gebruikt zijn, werden gegenereerd met een evenwichtige trainingsset van 400 positieve