Schwarmintelligenz und evolutionäre Algorithmen in ...

5 Evaluationsmethoden und Experimente
Abbildung 5.2: Eine beispielhafte Abbildung zweier Wahrscheinlichkeitsverteilungen für relevante
(rechts) und irrelevante Items (links).
liegen, desto besser kann das System zwischen Signal und Rauschen unterscheiden. In Recommendersytemen
wird dem Benutzer typischerweise eine absteigend sortierte Liste von
Empfehlungen präsentiert, die dieser bis zu einem gewissen Limit betrachtet. Dieses Limit
kann eine vom System festgelegte Begrenzung sein (Top-N Empfehlungen) oder auch vom
Benutzer selbst festgelegt werden, beispielsweise wenn ihm die Top-5 Empfehlungen genügen.
Für diesen cutoff Wert, wird ein neuer Recall berechnet, also die Anzahl der relevanten
Items die dem Benutzer präsentiert werden. Dieser Wert entspricht der Fläche unter der relevanten
Verteilung, rechts des cutoff. Der Fallout, also die Anzahl der irrelevanten Items die
präsentiert werden, entspricht der Fläche unter der irrelevanten Verteilung, rechts des cutoff.
Der Fallout ist definiert als
F = N is
N i
.
Eine ROC Kurve ist ein Plot, der Recall gegen Fallout beschreibt, wobei jeder Punkt auf der
Kurve für einen anderen cutoff -Wert steht, siehe auch das Beispiel in Abbildung 5.3. Für einen
perfekten Schätzer würde die ROC Kurve zuerst ausschließlich nach oben zeigen bis 100%
der relevanten Items behandelt wurden und dann eine horizontale Linie zeichen bis 100%
irrelevante Items abgedeckt sind. Ein zufälliger Schätzer würde eine Winkelhalbierende von
links unten nach rechts oben ziehen.
5.2.4 Statistische Tests
Die Resultate der einzelnen Testläufe werden zusätzlich mit zwei statistischen Tests untersucht.
Der Kruskal-Wallis-Test vergleicht, ob sich verschiedene unabhängige Stichproben hinsichtlich
mindestens einer ordinalskalierten Variable unterscheiden. Der Wilcoxon-Test prüft
anhand von zwei gepaarten Stichproben die Gleichheit der zentralen Tendenz der zugrunde-
66