Paper - Hogeschool Gent

Hoofdstuk 5. Resultaten 48
Naar mate de TrS ratio daalt, stijgen de minimale en maximale F1 measure. Deze stijging
word mooi geïllustreerd door de testen 2, 3, 4 en 7 in figuur 5.7 (p. 47). Bij een TrS ratio
van 0, 125 (test 7) is het effect maximaal. De TrS ratio nog verder verkleinen, zorgt ervoor
dat de resultaten terug dalen. Onderstaande tabel toont de grootste verbeteringen tussen
de baseline (test 1) en test 7.
min F1 △ min F1 max F1 △ max F1
1 24,2% 55,1%
7 53,7% +29,5% 63,6% +8,5%
16 48,5% +24,3%
18 91,6% +36,5%
Tabel 5.4: De grootste verbeteringen met onevenwichtig trainen.
De tweede manier van optimalisatie door onevenwicht focust op de NoF ratio. In de eerste
manier wordt de baseline verbetert door de TrS ratio te verminderen in de richting van de
TrS ratio van de testset en NoF- en NoF+ niet te limiteren. Voor de tweede manier wordt
de NoF ratio vastgelegd en mogen NoF- en NoF+ variëren. Er werd een nieuwe baseline
gecreëerd voor dit soort test. De resultaten van de nieuwe baseline zijn aangeduid als test
10. De NoF ratio werd vastgelegd op 1, 00 en TrS- wordt gevarieerd van 500 tot en met
2500. De TrS ratio varieert daarmee van 1, 0 tot en met 0, 2.
Om de NoF ratio aan te passen, zijn er terug verschillende mogelijkheden. Eén daarvan
is om de NoF+ te beperken. Dit wordt gedemonstreerd in testen 20 tot en met 23. De
resultaten zijn echter niet naar verwachting. Ten opzichte van de nieuwe baseline zijn er
enkel dalende resultaten te noteren naar mate de NoF ratio afneemt.
Een tweede mogelijkheid om de NoF ratio aan te passen, is het beperken van NoF-. Bij deze
manier van onevenwichtig trainen worden de beste resultaten geproduceerd. De maximale
F1 measure stijgt zelfs boven de 90%. Pas wanneer de NoF ratio gelijk wordt aan 8, 00 in
test 14 begint de maximale F1 measure flink te stijgen. In test 16 maakt de minimum F1
measure een sprong omhoog. De F1 measure piekt in test 18, wanneer de NoF ratio 40
bedraagt. De resultaten verbeteren dus wanneer het omgekeerde van de NoF ratio (hier:
(1/40) −1 = 0, 025) de class skew benadert (in te realistische test: 0, 02). In test 19 worden
de negatieve documenten gedefinieerd aan de hand van slechts 50 features. Uitprinten
van deze 50 features (zie bijlage A.3, p. 64) toont dat het om zeer frequente woorden