Paper - Hogeschool Gent

Hoofdstuk 3. Data 29
3.2.3 Realistische test
Voor de realistische test werd random data geselecteerd. Het randomizatieproces was het
volgende:
1. Bepaal de gewenste grootteorde van de sample.
2. Bereken de drempelwaarde als verhouding van de gewenste grootte en de grootte van
de beschikbare data.
3. Genereer voor elk document een random waarde.
4. Voeg de documenten met een bijhorende waarde kleiner dan de drempelwaarde toe
aan de sample.
In een eerste ronde werden 1008 documenten geselecteerd. De tweede ronde was goed voor
948 documenten. Voor de query gebruikt bij deze selectie wordt verwezen naar hoofd-
stuk 4.2 (p. 32). Het resultaat van elke ronde werd manueel doorgenomen en de gevallen
van seksueel misbruik aangeduid. De eerste en tweede ronde waren goed voor respectieve-
lijk 25 en 17 positieve documenten. Dit zorgt voor een misbruikverhouding van 42 op 1956
documenten. Omgerekend betekent dit dat ongeveer 2, 15% van de blogberichten niet door
de beugel kunnen vanwege ongepaste seksuele inhoud.
De samples tonen aan dat de hoeveelheid data rond seksueel misbruik relatief klein is
ten opzichte van alle data. Om de verhoudingen van een realistische dataset beter te
kunnen benaderen bij het trainen is dus in verhouding veel meer negatieve data nodig.
Momenteel zijn dat 579 positieve documenten tegenover 944 negatieve documenten. Deze
aantallen weerspiegelen niet de gewenste verhoudingen. Daarom werden volgens het reeds
eerder gebruikte sampelingmechanisme nog 14880 random documenten geselecteerd die
indien nodig kunnen toegevoegd worden aan de hoeveelheid negatieve data. Deze laatste
14880 documenten werden dus niet manueel overlezen, maar vanuit de steekproeven kan er
besloten worden dat ook hier de hoeveelheid positieve documenten zeer laag was. Wanneer
er dus random documenten toegevoegd worden aan de negatieve data kan er vanuit gegaan
worden dat de negatieve invloed op het trainingsgedeelte van de algoritmes beperkt blijft.
Het getal 14880 is afkomstig van het algoritme waaraan gevraagd werd 15000 documenten
te samplen. Dit aantal extra documenten is voldoende groot om al de testen in deze scriptie
te kunnen uitvoeren.