Paper - Hogeschool Gent

Hoofdstuk 2. Theoretische achtergrond 15
Dit document kan uitgezet worden in de tweedimensionale “alfa beta”-ruimte als de vector
v1 = (2, 3), zie figuur 2.1. Hierin zijn de coörinaten respectievelijk de frequenties van de
woorden alfa en beta.
beta
3
2
1
0
(2,3)
1 2 3 4
Figuur 2.1: De vectorrepresentatie v1 van het voorbeeld.
Omdat een document natuurlijk meer dan twee verschillende woorden kan bevatten, zijn
de vectoren niet tweedimensionaal maar multidimensionaal. Er zijn evenveel dimensies als
er verschillende woorden in de volledige dataset staan.
De vectoren kunnen op verschillende manier gerepresenteerd worden. De eerste manier
kwam reeds aan bod als (2, 3). Wanneer het aantal woorden toeneemt, wordt deze re-
presentatie erg lang en bevat ze bovendien veel nullen. De grote overdaad aan nullen
kan weggewerkt worden door over te gaan op ijle vectoren. Bij ijle vectoren bestaan de
coördinaten uit een ID van de dimensie en de waarde. Omdat de waarden vergezeld zijn
van een ID is het niet meer nodig om alle ID’s op te nemen en kunnen de nulwaarden
weggelaten worden. Een uitbreiding van het vorige voorbeeld naar een collectie met vijf
documenten levert het overzicht in tabel 2.2 (p. 16).
Merk op dat hier gekozen werd voor letters als ID’s van de coördinaten. Voor de praktische
implementatie werden woorden niet afgebeeld op letters maar op getallen.
Uit Manning et al. (2008) kan geleerd worden dat classificatie in vectorruimten beter pres-
teert wanneer gewerkt wordt met genormaliseerde TF*IDF vectoren (zie volgende alinea)
in plaats van vectoren met frequenties. In een normaliseerde vector wordt de waarde in
elke dimensie gedeeld door de lengte van de vector. De nieuw bekomen vector heeft dan
alfa