Schwarmintelligenz und evolutionäre Algorithmen in ...

5 Evaluationsmethoden und Experimente
True positive rate
0.0 0.2 0.4 0.6 0.8 1.0
3.43 3.78 4.13 4.49 4.84 5.19
True positive rate
0.0 0.2 0.4 0.6 0.8 1.0
3.53 3.86 4.19 4.52 4.85 5.18
0.0 0.2 0.4 0.6 0.8 1.0
False positive rate
0.0 0.2 0.4 0.6 0.8 1.0
False positive rate
Abbildung 5.7: ROC Kurven für einen exemplatischen Benutzer (14). Links ohne optimierten
Gewichtsvektor, rechts per PSOREC optimiert.
Reduzierung von Features Es soll untersucht werden, inwiefern sich der MAE und die
Gewichtsvektoren verändern, wenn Teile der demografischen Features und die Genres aus
dem Datensatz entfernt werden. Es wurden dazu aus dem MovieLens Datensatz modifizierte
Datensätze erstellt, die diese Features jeweils nicht enthalten. Es werden exemplarisch zwei
Benutzer ausgewählt, die auch bei der Untersuchung zum globalen Optimum verwendet
wurden: Benutzer 12 und 19, die beide Eigenschaften vorweisen, die zur experimentellen
Untersuchung nützlich sind (siehe dazu die Diskussion in Kapitel 6.5.3).
Für beide Benutzer wurde jeweils die Abweichung der Gewichtswerte für folgende Varianten
des Datensatzes in Abbildung 5.12 und 5.13 aufgezeigt: Kein Geschlecht, kein Alter,
überhaupt keine demografischen Daten und keine Genreinformationen der Items. In Abbildung
5.14 ist der Verlauf des mittleren absoluten Fehlers für 20 Benutzer abgebildet. Es ist zu
erkennen, dass für manche Benutzer der Unterschied zwischen den Varianten größer ist als
für andere. Es wurde der Kruskal-Wallis-Test als statistischer Test verwendet. H 0 lautet, dass
es keinen Unterschied zwischen den MAE Werten gibt, wenn Features weggelassen werden.
Der Kruskal-Wallis-Test ergab einen p-Wert von 0.9787, d.h. H 0 kann nicht abgelehnt werden.
Auswirkungen von Velocity Clamping und Trägheitsgewichten Für die in Tabelle 5.7 aufgeführten
Kombinationen wurden 50 unabhängige Läufe durchgeführt und jeweils der MAE
berechnet. Das Trägheitsgewicht (TG) wurde in zwei Varianten untersucht, siehe dazu auch
Abschnitt 4.5.2. Die Mittelwerte des MAE über die 50 Läufe sind in der zweiten Spalte aufgeführt.
72