Entwicklung eines Kollaborationsnetzwerkes - Bergische Universität ...

einer Rastersuche per PROMETHEE II Reduktionsverfahren in der Regel zu einem guten Ergebnis,
die anhand der Aggregation ermittelte temporäre Gesamtwertigkeiten berücksichtigen.
Die in Testphase I konstruierten Reduktionsverfahren basieren auf einem relativ kleinen
Suchszenario, für welches die Eigenschaften der Kandidaten so zusammengestellt wurden, dass
möglichst alle Charakteristiken der Kriterien sowie der Reduktionsverfahren zum Einsatz kommen,
getestet und nachvollzogen werden können.
Für eine Aussage über die jeweiligen Verfahrensauswirkungen bei größeren, hinsichtlich der
Fremddienstleistersuche realistischeren Reduktionsszenarien ist es sinnvoll, über das Testszenario
aus Testphase I hinaus, weitere Testszenarien mit angereicherten Kandidatenmengen und
variierenden Kriterienparametrisierungen zu analysieren. Anhand dieser Analysen sollen die
Erkenntnisse aus der Testphase I auf Stabilitäten bezüglich der Qualität sowie des Aufwandverhaltens
verifiziert werden.
Neben der Erweiterung der Testszenarien ist eine Anpassung der Kennzahlen zur
Verfahrensbewertung erforderlich. Die Precision reicht in Kombination mit den gefundenen Rängen
des globalen Optimums nicht aus, um die Qualität der Ergebnismengen zu bewerten. Als
Schwachpunkt der Auswertungsmethodik hat sich herausgestellt, dass diese weder die Wertigkeiten
der Kandidaten, noch deren Verteilung in der Eingangsmenge berücksichtigt. Es ist beispielsweise
denkbar, dass Kandidaten relevante Wertigkeiten besitzen, obwohl diese nicht Teil des globalen
Optimums sind. Ebenso können im globalen Optimum irrelevante Kandidaten enthalten sein.
6.6.3. Testphase II: Verfahrensanwendung auf größere Szenarien
Die Komplexität der in der Testphase II angewendeten Testszenarien sowie die Menge der
Reduktionsverfahren erforderten die Implementierung eines Evaluationstools für die inkrementelle
Reduktion. Mit dem Evaluationstool ist die Anwendung unterschiedlicher Reduktionsverfahren auf
verschiedene Suchszenarien sowie die Ausgabe von Kennzahlen zur Analyse der Verfahrenseignung
möglich. Das in die Testplattform OpenFred implementierte Evaluationstool wird in Kapitel 7 näher
erläutert.
Aufgrund der Menge an Verfahren und Möglichkeiten der Parametrisierung wurde die Analyse in
Testphase II zunächst auf zwei parametrisierte Kriteriensets ( und ), zwei Eingangsmengen mit
einer Mächtigkeit von 45 beziehungsweise 1000 Kandidaten sowie einer angestrebten
Zielmächtigkeit von zehn Kandidaten beschränkt. Zur Aufstellung der Kriteriensets wurde das Set aus
Testphase I im Evaluationstool angelegt und parametrisiert. Verändert wurden die Prioritäten sowie
die Basenwerte der Kriterien Entfernung und Bewertung. Dem Kriterium Entfernung wurde
außerdem ein Alternativwert zugewiesen (siehe Tabelle 6‐4).
131