Automatische Erkennung von Cover-Versionen und Plagiaten in ...

Resultate und Perspektiven 88
Ähnlich zur precision ist auch der fallout ein Maß für den Anteil an falschen Instanzen
im Ergebnis. Der Unterschied ist jedoch, dass diese Menge nicht zum Gesamtumfang des
Ergebnisses, sondern zur Zahl der negativen Instanzen im Suchrauch selbst in Beziehung
gesetzt wird.
fallout =
negfound
negfound + negmissed
(5.3)
Da diese drei Maßzahlen sehr stark miteinander korrelieren, ist es im Sinne einer leich-
teren Vergleichbarkeit von Resultaten nützlich, sie zu einem einzelnen Wert zu verknüp-
fen. Dieser so genannte f-Wert ergibt sich als
f = 2
precision recall
precision + recall
(5.4)
Um Ergebnisse zudem besser beurteilen zu können, wird in Anlehnung an [18] eine Ba-
seline für diese Maße hergeleitet. Sie beschreibt des Ergebnis, das bei zufälliger Auswahl
einer bestimmten Anzahl n an Paaren zustande kommt. Ausgegangen wird dabei von
einer Sammlung mit N Songs und somit Npairs = N(N−1)
2
möglichen Paarungen, von
denen Ncover tatsächlich Versionen des jeweils selben Musikstücks sind. Die Menge der
richtigen Klassifizierungen innerhalb dieser Ergebnismenge ergibt sich als
pos rand
found =
min(n,Ncover−1)
k=1
= n (Ncover − 1)
Npairs − 1
k
Npairs−Ncover n−k
Ncover−1 k
Npairs−1
n
Setzt man posrand found in die Formeln für recall und precision ein, so ergeben sich
recall rand = posrand
found
Ncover−1 =
n
Npairs − 1
precision rand = posrand
found
n = Ncover − 1
Npairs − 1
f rand = 2 Ncover − 1
Ncover − 1 + n
n
Npairs − 1
(5.5)
(5.6)
(5.7)
(5.8)