Paper - Hogeschool Gent

Hoofdstuk 6
Conclusie
Tijdens het onderzoek werden goede resultaten genoteerd voor de classificatie van tekst-
documenten door een gesuperviseerd leeralgoritme. De verschillende componenten, feature
selector en text classifier, werden uitvoerig belicht. Op basis van de resultaten uit eigen
tests werd beslist dat een support vector machine als text classifier gecombineerd met
mutual information als feature selector de combinatie is die de beste cijfers geeft.
Een ongelijke klassenverdeling vormt een probleem voor het efficiënt classificeren van tekst-
documenten. Dit probleem kan het best aangepakt worden door het onevenwichtig in de
data op één of andere manier door te voeren in de trainingsdata van de text classifier. Zo-
wel onevenwichtig trainen op documenten als het onevenwichtig trainen op features levert
significante verbeteringen. In het beste geval wordt een F1 measure van 91,6% bereikt.
Zowel precision als recall liggen daarbij boven de 90%.
Het opnemen van clusteringsfeatures tijdens de classificatie levert slechts in een zeer beperkt
gebied een verbetering. Dit gebied wordt afgebakend door de hoeveelheid gebruikte features
om de klassen te definiëren. De extra informatie die uit de clustering kan gehaald worden, is
evenwel niet miniem en nodigt uit tot verder onderzoek. Met de juiste trainingsdocumenten
moet de classifier in staat zijn om niet enkel seksueel misbruik, maar bijvoorbeeld ook
gevallen van depressie, pestgedrag of spam te detecteren.
55