Schwarmintelligenz und evolutionäre Algorithmen in ...

5 Evaluationsmethoden und Experimente
ren Fehler der geschätzen Bewertungen? Wie verhält sich das Verfahren bei zufällig
bestimmten Gewichtsvektoren?
• Kein globales Optimum und damit kein stabiler Gewichtsvektor
Warum ergeben mehrere unabhängige Läufe der vorgeschlagenen Verfahren verschiedene
Gewichtsvektoren für den gleichen aktiven Benutzer? Ist in der Fitnesslandschaft
kein globales Optimum zu finden und existieren stattdessen viele kleine lokale Optima?
• Größe der Nachbarschaft
Wie wirkt sich die Wahl der Nachbarschaftsgröße auf die Empfehlungsqualität aus?
Sollte man eine große Menge an Nutzern befragen oder eher eine kleine Expertengruppe?
• Verschiedene Abstandsmaße
Wie verhält sich die Bestimmung der Nachbarschaft (und die daraus resultierende Genauigkeit
der Empfehlungen), wenn verschiedene Abstandsmaße verwendet werden?
• Spezifische Parameter der Optimierungsverfahren
Alle eingesetzten Optimierungsverfahren verfügen über mehrere Parameter, die den
Ablauf des Algorithmus beeinflussen. Kann man durch die Anpassung der Parameter
auf das zugrundeliegende Problem Verbesserungen in der Empehlungsqualität erzielen?
Wenn ja, wie ist dies zu begründen?
Ablauf der experimentellen Untersuchung Im Folgenden werden alle in Kapitel 4 vorgeschlagenen
Algorithmen und Verfahren untersucht. PSOREC, das erste Verfahren das besprochen
wird, geht intensiv auf das verwendetete Recommendersystem und dessen Parameter
ein. Wenn sich in den folgenden Verfahren keine Veränderungen in dieser Hinsicht ergeben,
wird darauf hingewiesen und wenn möglich, eine Begründung abgegeben. Auf eine redundante
Untersuchung wird aber verzichtet.
Alle Testläufe der Algorithmen werden per 5-facher Kreuzvalidierung untersucht und 20
feste Benutzer im Wechsel als aktive Benutzer, die zufällig aus dem Datensatz gezogen wurden,
verwendet. Je nach Art des zu testenden Problems werden mehrere unabhängige Läufe
durchgeführt, um die Zufallskomponenten der verwendeten Optimierungsalgorithmen auszugleichen.
Die MAE-Werte, der in den folgenden Abbildungen aufgezeigt sind, geben den Durchschnitt
der fünf Resultate der Kreuzvalidierung wieder. Innerhalb einer der fünf Resultate wurde
jeweils der beste MAE Wert der unabhängingen Läufe (meist zwischen 10 und 50) ausgewählt.
Dies ist üblich bei Recommendersystemen, bei denen die Empfehlungen off-line vorberechnet
werden können und es nur wichtig ist, welcher der Läufe den kleinsten mittleren Fehler
ergeben hat [75, 39].
5.3.1 Resultat Abstandsmaße ohne Optimierung
Ohne Verwendung der Optimierungsalgorithmen werden vier verschiedene Abstandsmaße
für die Ähnlichkeitsberechnung zweier Benutzer untersucht, die keine Gewichte auf den ein-
68