Schwarmintelligenz und evolutionäre Algorithmen in ...

5 Evaluationsmethoden und Experimente
0.59
Fitnessverlauf
Fitness (mean absolute error)
0.585
0.58
0.575
0.57
0.565
0.56
0 10 20 30 40 50 60 70 80 90 100
Zeit in Iterationen
Abbildung 5.5: Exemplatischer Verlauf der Fitness (MAE) während der Optimierung durch
ein gegebenes Optimierungsverfahren für einen festen aktiven Benutzer.
In Abbildung 5.6 sind die einzelnen MAE Werte aufgeführt. Der MAE ist für optimierte
Gewichte bei allen 20 Benutzern kleiner oder gleich den nicht optimierten Gewichten. Für
den statistischen Test wurde der Wilcoxon-Test verwendet. Die Nullhypothese lautet, das es
keinen Unterschied zwischen den optimierten und statischen Gewichtsvektoren. Es ergibt
sich ein p-Wert von 0, 005722, d.h. es gibt einen statistisch signifikanten Unterschied.
Für Benutzer 14 wurden ROC Kurven gezeichnet, siehe Abbildung 5.7. Für die linke Kurve
wurde kein optimierter Gewichtsvektor für die Nachbarschaftsbestimmung verwendet, für
die rechte Kurve wurde ein per PSOREC optimierter Vektor eingesetzt. Tabelle 5.6 listet die
Werte für die beiden areas under the curce (AUC) auf.
Methode
Area under the curve
Ohne Optimierung 0.5349206
PSOREC Optimierung 0.6293706
Tabelle 5.6: Area under the curve für Benutzer 14, mit und ohne optimiertem Gewichtsvektor.
Globales Optimum Die vorgeschlagene Fitnessfunktion zeigt auf den Datensätzen kein eindeutiges
globales Optimum. Dieses Verhalten konnte bei der Entwicklung des Algorithmus
beobachtet werden. Unabhängige, aufeinander folgende Läufe des Algorithmus konvergieren
immer auf einen ähnlichen Fitnesswert, der zugehörige Gewichtsvektor endet jedoch
nicht auf gleichen Werten. Jeder unabhängige Lauf gewichtet die Präferenzen des aktiven
Users anders, so dass für einen festgehaltenen User kein eindeutiger Gewichtsvektor gefunden
werden kann. In Abbildung 5.8 sind 50 unabhängige Läufe exemplarisch für vier feste
70