Archivserver der Deutschen Nationalbibliothek - Katalog der ...

Benchmark
Kapitel 2 Grundlagen & Stand der Forschung
Definition 2.1: Benchmarking nach Spendolini [57]
Benchmarking ist ein fortlaufender systematischer Prozess zur Bewertung
von bewährten Produkten, Diensten und Arbeitsprozessen in Organisationen,
mit dem Ziel, die gesamte Organisation zu verbessern.
Während viele Definitionen in der Literatur den Vergleich einer Organisation mit anderen
in den Vordergrund stellen, ist es ein entscheidender Vorteil der vorgenannten
Definition, dass sie die Verbesserung der Arbeitsprozesse innerhalb der Organisation
hervorhebt.
Wenn ein Rechensystem mit einer bestimmten Aufgabe als Organisation im Sinne der
Definition 2.1 verstanden wird, kann die Definition direkt in die Computerwissenschaft
übernommen werden. Auch hier ist Benchmarking ein kontinuierlicher systematischer
Prozess zur Bewertung der Systemdienste des Rechensystems, die bis zum aktuellen
Zeitpunkt als beste Realisierung der Dienste verstanden werden, mit dem primären
Ziel, die Abläufe innerhalb des Rechensystems zu verbessern. Der Vergleich mit anderen
Rechensystemen, der in den meisten anderen Definitionen im Vordergrund steht,
kann dabei ein zentrales Mittel der Verbesserung sein, muss es aber nicht. Auch interne
Verbesserungen ohne Vergleich mit anderen Systemen sind Zielstellung des Benchmarkings.
2.3.1 Benchmarks
Während der Begriff Benchmarking recht einheitlich in den unterschiedlichen Wissenschaftsbereichen
behandelt wird, besteht Uneinigkeit bei der Deutung des Begriffes
Benchmark. Während der Benchmark in der Geografie genau wie in den Wirtschafts-
wissenschaften einem Referenzwert entspricht, an dem Vergleichsmessungen durchgeführt
werden, stellt er in der Informatik das Programm dar, das die Messung unter
Einfluss einer generierten Last durchführt. Benchmarks in der Informatik bestehen also
aus Rechen- und Programmdaten, die nach bestimmten Vorschriften die Last für
Rechner erzeugen, um Messungen zur Bewertung der Leistungsfähigkeit durchzuführen.
Im Folgenden wird der Begriff Benchmark ausschließlich mit dieser Bedeutung
verwendet. Messwerte, die durch einen Benchmark ermittelt wurden, sind in dieser
Arbeit zur besseren Unterscheidung als Benchmark-Ergebnisse bezeichnet.
Computer-Benchmarks messen Leistungswerte auf unterschiedlichen Abstraktionsebenen
der erzeugten Last. So werden Benchmarks in der Literatur häufig in die Klassen
Low-Level-Benchmarks und Applikationsbenchmarks eingeteilt [58, 46].
Low-Level- Low-Level-Benchmarks dienen der Ermittlung der Leistungsfähigkeit eines Rechen-
Benchmark system bzgl. spezifischer Eigenschaften, wie bspw. die maximale Speicherbandbreite
[59]. Häufig ist es Ziel von Low-Level-Benchmarks, die maximale Leistungsfähigkeit
des Systems bzgl. der zu vermessenden Eigenschaft zu ermitteln und die Last, die
30