Archivserver der Deutschen Nationalbibliothek - Katalog der ...

Kapitel 2 Grundlagen & Stand der Forschung
Bewertungs-
positive Bewertung einem Punkt, eine neutrale Bewertung keinem Punkt und eine negative
Bewertung einem Minuspunkt entspricht. Die Bewertungen der einzelnen Katemaßstab
gorien erfolgen nach folgenden Kriterien, um eine Objektivität zu gewährleisten:
Vergleichbarkeit. Vergleichbarkeit ist bei den meisten Benchmarks gegeben. Entweder
verwenden Benchmarks feste Workloads für eine einfache Vergleichbarkeit
oder sie sehen Referenzworkloads vor. Ist keine der beiden Möglichkeiten vorgesehen,
wird eine negative Bewertung vergeben, sonst eine positive. Ebenso gibt
es eine negative Bewertung, wenn der Benchmark nur für wenige spezifische
Architekturen implementiert wurde.
Repräsentativität. Benchmarks, die nur einen Workload unterstützen, erhalten in
diesem Punkt eine negative Bewertung. Werden mehrere Lastverhalten unterstützt,
wird hier eine neutrale Bewertung vergeben. Nur Benchmarks, die eine
freie Definition von I/O-Lasten in ihrem Fokus verarbeiten können, erhalten eine
positive Bewertung.
Skalierbarkeit. Ist eine automatische oder einfache manuelle Skalierung der Lasten
des Benchmarks an neue Systeme möglich, erhält ein Benchmark eine positive
Bewertung in der Kategorie „Skalierung”. Ist eine Skalierung nur durch Änderung
und Neuübersetzung der Quellen möglich, wird eine neutrale Bewertung
gegeben. Hingegen gibt es eine negative Bewertung, wenn keine Skalierung ermöglicht
wird.
Systemverständnis. Ein Benchmark hilft dann beim Systemverständnis, wenn einzelne
Parameter variiert werden können, um deren Einfluss auf das System zu
erkennen. Wenn dies einfach möglich ist oder automatisch vom Benchmark gemacht
wird, gibt es eine positive Bewertung. Kann der Nutzer Parameter variieren,
die aber einen neuen Benchmarklauf benötigen, ist die Bewertung neutral.
Negative Bewertungen gibt es, wenn eine derartige Variation gar nicht möglich
ist.
Reproduzierbarkeit. Reproduzierbarkeit kann prinzipiell bei jedem Benchmark realisiert
werden. Wichtig dafür ist eine gute Dokumentation des Entwicklers, in
der genaue Hinweise zu erlaubten Optimierungen, zur Kompilation und Ausführungsumgebung
gegeben werden. Viele Benchmark-Entwickler erlauben beliebige
Compiler-Optimierungen. In solchen Fällen kann der Benchmark leicht zu
einem Compiler-Test werden. Dennoch ist dies eine klare Aussage zur Kompilation
und wird an dieser Stelle positiv bewertet. Fehlen Aussagen zur Kompilation
und Ausführungsumgebung wird an dieser Stelle eine neutrale Bewertung
gegeben.
I/O-Bezug. Ein Benchmark erhält die positive Bewertung +, wenn ausschließlich I/O
vermessen wurde, sonst gibt es eine neutrale Bewertung.
Laufzeit. Diese Eigenschaft erfüllt jeder verbreitete Benchmark, da er von Nutzern
nicht eingesetzt werden kann, wenn seine Laufzeit eine nicht tolerierbare Grenze
40