Paper - Hogeschool Gent

Hoofdstuk 2. Theoretische achtergrond 7
Het weglaten van cijfers is een vereenvoudiging. Om bijvoorbeeld ‘w8’ op te nemen in de
frequentiebel als een equivalent van ‘wacht’ zou een vervanging van vele cijfers nodig zijn.
Vele, niet alle, want bijvoorbeeld voetbaluitslagen zouden dan niet mogen omgezet worden.
Het verwijderen van diakritische tekens komt neer op het verwijderen van accenten, trema’s,
tildes en konsoorten. De letters worden evenwel behouden.
Stemming
vb: ç → c é → e ë → e ^e → e ~n → n
Stemming is het proces waarbij woorden afgekapt worden om ze tot eenzelfde stamvorm te
herleiden. Er wordt een rudimentaire poging ondernomen om afleidingen en vervoegingen
weg te werken en de woordenschat in de testset te reduceren. Een kleinere woordenschat
betekent dat in geheugenkritische systemen meer features kunnen opgeslagen worden.
Stemming kan ook omschreven worden als een afgezwakte vorm van lemmatizering. Deze
laatste heeft eveneens als doel om de woordenschat te verkleinen door woorden terug te
voeren tot hun stam, maar gaat evenwel anders te werk. Lemmatizering steunt voor het
herleiden van woorden op een taalkundige analyse. Een taalkundige analyse kan bovendien
verder gaan dan enkel een woord reduceren tot zijn stam. Er kan ook een link gelegd worden
tussen woorden die hetzelfde voorwerp aanduiden, maar weinig letters gemeenschappelijk
hebben. Een voorbeeld is auto en wagen.
Een morfologische analyse is echter niet het onderwerp van dit werkstuk en is dan ook niet
geëvalueerd. Afgezien van de beschikbare tijd, waren noch de kennis, noch de bronnen
daarvoor aanwezig. Maar men kan aannemen dat, indien rekenkracht en uitvoeringstijd
geen punt zijn, lemmatizering de resultaten wellicht nog meer kan verbeteren in verhouding
tot stemming. Of deze verbetering de moeite is, is zoals gezegd niet uitgewerkt.
Wanneer het om de Engelse taal gaat, is reeds lang een algoritme beschikbaar dat goede
resultaten haalt. Dit algoritme, genoemd naar zijn uitvinder, is gekend als Porter’s Al-
gorithm. Onze data bestaat echter voornamelijk uit Nederlandstalige tekst. De beperkte
Engelstalige content bestaat voor het overgrote deel uit songteksten. Het toepassen van
Porter’s Algorithm op onze data zou van weinig nut zijn daar stemmingsalgoritmen per
definitie taalspecifiek zijn.
Een oplossing werd gevonden in de paper van Kraaij & Pohlmann (1994) getiteld “Porter’s
Algorithm for Dutch”. Hierbij wordt gesteund op de bevindingen van Kraaij & Pohlmann