Entwicklung eines Kollaborationsnetzwerkes - Bergische Universität ...

Enthält eine Ergebnismenge der Reduktion die gleichen Wertigkeiten wie die Referenzmenge, so
stellt diese bezogen auf das Suchszenario ein optimal erreichbares Ergebnis dar und erhält somit
einen Wertigkeitsindex von 1 (100 %).
Um Aussagen darüber treffen zu können, wie gut die Kandidaten den Satz an Suchkriterien erfüllen,
könnte anstelle von , eine hundertprozentige Erfüllung des Anforderungskataloges in die
Bildung der , einbezogen werden. Für eine Aussage bezüglich der Verfahrensqualität reicht
der Vergleich zur Referenz aus, da ein besseres Ergebnis ohnehin nicht erzielt werden kann. Ein
Vorteil der Berücksichtigung von anstelle des Optimums ist, dass bei dieser Methode eine
Normierung der Wertskala unabhängig der Kenntnis über die Werteskala des zugrundeliegenden
Rankingverfahrens möglich ist. Ist der Wertebereich des angewendeten Verfahrens unbekannt, so
können der beste Wert der Referenz als Maximum (1) und der schlechteste Wert aller
Ergebnismengen als Minimum (0) verwendet werden.
Soll das Optimum hingegen in den Wertigkeitsindex einfließen, so ist zu erwähnen, dass dies nur für
Verfahren möglich ist, deren Wertebereich bekannt ist und deren Optimum nicht variiert. Bei
Verwendung der Aggregationsmethode hat das Optimum beispielsweise den Wert 1. Bei
PROMETHEE II werden hingegen die Wertigkeiten der Kandidaten durch die der anderen Kandidaten
beeinflusst, wodurch ein Optimum nicht klar definierbar ist.
Anwendung der Precision und des Wertigkeitsindizes
Für die Verfahrensanalyse werden zur Qualitätsbestimmung zwei Kennzahlen herangezogen: Die
Precision bezogen auf die Relevanzmenge ( ) sowie der Wertigkeitsindex (). Die Precision
stellt lediglich einen Kontrollwert dar, anhand dessen eine hohe beziehungsweise schlechte Qualität
der Ergebnismenge nur angenommen werden kann. In Kombination mit dem Wertigkeitsindex
ermöglicht die Precision eine Aussage über die Spannweite der Relevanzmenge. Ist die Precision
gering und der Wertigkeitsindex hoch, so kann von einer geringen Spannweite der Referenzmenge
ausgegangen werden. Ist die Precision groß und der Wertigkeitsindex gering, so ist von einer großen
Spannweite der Referenzmenge auszugehen.
Der Wertigkeitsindex liefert ein geeignetes Mittel, um die Qualität einer Ergebnismenge zu
bestimmen. Die Wertigkeit wird dabei in Bezug auf das bestmöglich zu erreichende Ergebnis
ermittelt und stellt eine normierte Kennzahl dar. Somit kann mittels des Wertigkeitsindizes neben
der Qualität einzelner Ergebnismengen auch die Qualität der Verfahren in Hinblick auf Homogenität,
durch den Vergleich von Ergebnismengen variierender Suchszenarien, analysiert werden.
111