Schwarmintelligenz und evolutionäre Algorithmen in ...

5 Evaluationsmethoden und Experimente
x 1 x 2 y Trainingsdatensatz
Testdatensatz
Abbildung 5.1: Aufteilung eines Datensatzes in Trainings- und Testdatensatz. Der in dieser
Arbeit verwendete MovieLens Datensatz wird im Verhältnis 80/20 aufgeteilt.
Der MAE eignet sich für die Evaluation von Recommender, bei denen die gesamte Genauigkeit
des Systems wichtig ist. Das bedeutet, es werden alle unbewerteten Items eines Benutzers
geschätzt und somit geht der gesamte Fehler über alle unbewertete Items in die Genauigkeit
ein. Darunter sind für den Benutzer auch nicht relevante Items. Das sind Items, für die das
Recommendersystem korrekt eine niedrige Bewertung bestimmt, zum Beispiel geschätzte Bewertungen
< 4.
Eine Variante des MAE ist der root mean square error, der die einzelnen Fehler vor der Summierung
quadriert und somit größere Fehler mehr hervorhebt als der MAE:
RMSE =
√
∑ n i=1 (r i − p i ) 2
n
5.2.3 Klassifizierende Genauigkeitsmaße
Klassifizierende Genauigkeitsmaße messen die Häufigkeit, mit der ein Recommender korrekte
oder falsche Empfehlungen gibt, also eine ja / nein Entscheidung auf Seiten des Benutzers
vorliegt, ob die gegebene Empfehlung letztendlich korrekt oder falsch war. Die genaue Schätzung
des numerischen Werts einer Bewertung (z.B. Film i geschätzt 3,7 Sterne) ist weniger
wichtig, so lange dadurch keine Klassifizierungsfehler auftreten. Solche Maße sind Precision,
Recall und ROC Kurven (receiver operating characteristic).
Recall und Precision werden aus einer 2x2 Tabelle berechnet, für die die Items in die zwei
Klassen relevant (N r ) und irrelevant (N i ) aufgeteilt werden müssen, siehe Tabelle 5.5. Weiterhin
muss unterschieden werden, ob eine Item dem Benutzer als Empfehlung präsentiert
wurde (N s ) oder nicht (N n ). Daraus ergeben sich 4 Kategorien, über die Precision P und Recall
64