Paper - Hogeschool Gent

Hoofdstuk 5. Resultaten 51
Inzoomen op het eerste deel van de grafiek voor test 300k64 (figuur 5.10) toont dat de hoge
precision de oorzaak is van de hoge beginwaarden. De precision start immers op waarde 1,
alle positief geklasseerde documenten zijn dan ook daadwerkelijk positief voor ongepaste
seksueel inhoud. Zolang de clusterfeatures de overhand hebben, blijft de precision hoog.
Er kan dus geargumenteerd worden dat de clustering betere features levert aan de classifier
dan de MI feature selector.
1,0
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0,0
0% 2% 4% 6% 8% 10% 12%
% gebruikte features
Figuur 5.10: Inzoomen op het begin van test 300k64 met toevoeging van P en R.
Voor de eerste zes datapunten van elke grafiek uit figuur 5.10 zijn de aantallen MI features
gelijk aan 10, 20, 30, 40, 50 en 60 voor elke klasse. Aan die features worden telkens 29 extra
cluster features toegevoegd. De tweemaal 29 komt voort uit de hier uitgevoerde clustering
waarbij de negatieve en de positieve trainingsdocumenten elk over 29 clusters verspreid
liggen. Dit betekent nog niet dat het hier om 58 verschillende clusters gaat.
Het grote nadeel aan het verwerken van clusteringinformatie in het classificatieproces is de
tijd die de clustering in beslag neemt. Clusteringen van grote hoeveelheden data nemen
flink wat tijd in beslag. De eigen implementatie deed er met een Intel Core i5 (een 2,5GHz
processor) bijna exact 24 uur over om 300.000 documenten te clusteren. Mits gebruik van
een rekencluster en een geschikte multithreaded implementatie kan de benodigde tijd wel-
P
R
F1