Paper - Hogeschool Gent

Hoofdstuk 2. Theoretische achtergrond 5
2.2.2 Collection Frequency
Deze vorm van feature selectie werkt eveneens met frequenties. Collection frequentie (CF)
houdt bij hoe vaak een woord voorkomt in alle documenten samen.
Net als bij DF zijn de berekeningen eenvoudig en beperkt het geheugengebruik zich tot
een frequentietabel.
2.2.3 Mutual information
Deze laatste feature selection techniek is de meest complexe van de drie beschouwde tech-
nieken. Mutual information (MI) meet hoeveel informatie het al dan niet voorkomen van
een term bijdraagt aan het maken van een correcte classificatie.
I(U, C) =
et∈{1,0} ec∈{1,0}
P (U = et, C = ec) log 2
P (U = et, C = ec)
P (U = et)P (C = ec)
(2.1)
Hierbij is U een random variabele die de waarden et = 1 (het document bevat term t) en
et = 0 (het document bevat term t niet) kan aannemen. C is een random variabele die de
waarden ec = 1 (het document zit in klasse c) en ec = 0 (het document zit niet in klasse c)
kan aannemen. Ut en Cc worden gebruikt wanneer niet uit de context kan afgeleid worden
over welke term t en welke klasse c het gaat.
Bovenstaande formule is equivalent met de volgende:
I(U, C) = N11
N log 2
+ N10
N log 2
N N11
N1. N.1
N N10
N1. N.0
+ N01
N log 2
+ N00
N log 2
N N01
N0. N.1
N N00
N0. N.0
(2.2)
Hierin staan de verschillende termen N voor het aantal documenten die de waarden et
en ec bevatten die worden aangeduid door de subscripts. Zo staat N10 voor het aantal
documenten die term t (et = 1) bevatten en niet tot de klasse c (ec = 0) behoren. De
termen N met een punt in de index zijn minder beperkend. Voorbeeld: N1. = N10 + N11 is
het aantal documenten die term t (et = 1) bevatten onafhankelijk van de aanwezigheid van
term t. De minst beperkende term N (zonder subscript) is het totaal aantal documenten
en is dus gelijk aan N00 + N01 + N10 + N11. Het invullen van de waarden voor U en C zoals
hieronder toont het verband met formule (2.1).
P (U = 1, C = 1) = N11
N
(2.3)