Entwicklung eines Kollaborationsnetzwerkes - Bergische Universität ...

Effektivitätsbestimmung eines Reduktionsverfahrens, müssen die Qualitäten der von dem Verfahren
ermittelten Ergebnismengen bezogen auf einen Set an Suchszenarien sowie die Homogenität der
erzielten Qualitäten bezogen auf die Gesamtheit der Suchszenarien analysiert werden. Die
Zusammensetzung der Szenarien, beispielsweise die Verteilung der Kandidatenwertigkeiten, ist dabei
zu berücksichtigen. Während der Verfahrensanalyse (siehe Abschnitt 6.6) wurden die Kennzahlen zur
Qualitätsbestimmung stetig angepasst. Nachfolgend werden der Prozess der Kennzahlentwicklung
sowie die final zur Verfahrensbewertung verwendeten Kennzahlen beschrieben.
Precision und Recall
Wie bei dem BUW‐Outsourcingnetzwerk findet bei Information Retrieval Systemen (beispielsweise
Internetsuchmaschinen) eine automatisierte Filterung von Kandidatenmengen anhand von
Suchanfragen statt. Als Information Retrieval wird die Suche nach Dokumenten verstanden. Ziel der
Suche ist, möglichst alle zu einer Suchanfrage relevanten Dokumente zu finden, während die Menge
ermittelter irrelevanter Dokumente möglichst gering sein soll.
Zur Bewertung des Ergebnisses haben sich im Information Retrieval die Kennzahlen Precision und
Recall durchgesetzt. Für deren Bestimmung sind laut [Goe12, S. 330] folgende Werte von Bedeutung:
Anzahl der gefundenen relevanten Kandidaten ()
Anzahl der gefundenen nicht relevanten Kandidaten ()
Anzahl der nicht gefundenen relevanten Kandidaten ()
Anzahl der nicht gefundenen nicht relevanten Kandidaten ()
Die Precision (Präzision, Relevanzrate) ist die Genauigkeit, mit dem der Suchmechanismus relevante
und nicht relevante Kandidaten trennt. Diese Kennzahl gibt den Anteil relevanter Kandidaten des
Suchergebnisses an und wird wie folgt berechnet [Goe12, S. 330]:
; ∈ |0 1
Der Recall (Rückruf‐ oder Vollständigkeitsrate) gibt Aufschluss über die Vollständigkeit der relevanten
Kandidaten. Diese Kennzahl gibt den Anteil gefundener relevanter Kandidaten in Relation zu allen
relevanten Kandidaten an und wird wie folgt berechnet [Goe12, S. 330]:
; ∈|0 1
Im Information Retrieval ist die Kombination beider Kennzahlen von Bedeutung. Eine Trefferquote
relevanter Ergebnisse von 100 % ( 1) ist relativ unbedeutend, sofern die Menge an irrelevanten
Kandidaten ebenfalls hoch und die somit gering ist [Goe12, S. 330 f.].
105