Paper - Hogeschool Gent

Hoofdstuk 3. Data 27
na revisie een selectie X3 van 90 documenten bekomen. Dit brengt het totaal op 579
documenten met seksueel onaanvaardbare inhoud.
3.2.2 Negatieve documenten
Aangezien er met enkel positieve gegevens niet kan getraind worden, is er nood aan een
voldoende grote verzameling negatieve gegevens. Vooral indien de verhouding tussen posi-
tieve en negatieve data uit de realistische data geëvenaard moet worden, is zelfs een ruime
set negatieve data nodig. De verhouding en scheefheid in de klassenverdeling, ook wel class
skew genoemd, wordt later besproken (p 44). Onderstaande MySQL-query werd gebruikt
voor de selectie van negatieve data:
SELECT "0" AS id,
FROM blogs
"blog" AS source,
concat(blogs.title,’ ’,blogs.message) AS "message"
WHERE userid NOT IN ( SELECT userid
LIMIT 0,500
FROM blocked_users
char_length(blogs.message)>50
INTO OUTFILE ’/tmp/blogs-neg-output.csv’
FIELDS TERMINATED BY ’,’
ENCLOSED BY ’"’
LINES TERMINATED BY ’\n’;
WHERE reason_type in (0,2,10) ) AND
De eerste twee kolommen zijn noodzakelijk voor de structuur van de nieuwe tabel waarin de
negatieve data wordt ondergebracht. Extra eisen voor de opgevraagde documenten zijn dat
de gebruiker niet mag opgenomen zijn in de lijst met geblokkeerde gebruikers en bovendien
moeten de documenten ten minste 50 karakters bevatten. Deze laatste eis zorgt ervoor
dat het aantal mogelijke features per document in de negatieve data omhoog getrokken
wordt. Deze eis werd niet toegepast bij de positieve documenten omdat de uiteindelijke
set positieve documenten dan nog verder krimpt. De limit-clausule kan gevarieerd worden
om blokken van 500 documenten op te vragen. De data in de tabel met negatieve data
is samengesteld uit het tweemaal uitvoeren van deze query (limit 0,500 en limit 500,500).
De laatste vier lijnen zijn enkel voor het wegschrijven van de geselecteerde data naar