Leistungsmessung- und bewertung - Department of Information ...

Kapitel 3: Methoden, Testverfahren und WerkzeugeMessungenDie Messung als Methode zur Leistungsbewertung wird an vorhandenen Systemendurchgeführt. Sie dient der konkreten Beurteilung von realen Systemen. Jede Softwareläuft auf einer bestimmten Hardware, so dass Messungen nur für eine bestimmteKombination von Soft- und Hardware gelten. Bei der Messung gibt es eineUnterscheidung zwischen Monitoring und Benchmarking. Das Monitoring dient derÜberwachung einer Anwendung im aktiven Betrieb. Zur Laufzeit werden an wichtigenPunkten im System Messwerte protokolliert, die später überprüft und miteinanderverglichen werden können. Engpässe können auf diese Weise aufgespürt und dasVerhalten des Systems eingeschätzt werden. Überwachungsobjekte könnten z. B.Antwortzeiten sein. Dazu werden die zu untersuchenden Anwendungen an denrelevanten Stellen instrumentiert, das heißt, es werden Codeanpassungen vorgenommenoder Kollektoren eingesetzt, welche Zeiten zwischen festgelegten Programmstückenund Ausführungsschritten messen und protokollieren. Das Benchmarking bedient sichstandardisierter Messprogramme und dient der Erfassung der Leistung eines Systems.Die Standardisierung ermöglicht einen Vergleich mit ähnlichen Systemen undSoftware-Produkten und ist somit eine elementare Voraussetzung. Die in Kap. 2.3beschriebene DIN ist in diesem Zusammenhang als Rahmenwerk zu sehen, bei dessenVerwendung eine standardisierte und somit vergleichbare Messung von Leistungsichergestellt werden kann. Bei jedem Vergleich ist darauf zu achten, dass dieBedingungen und das Umfeld der Benchmarks bezüglich Hard- und Software identischoder sehr ähnlich sind, um aussagekräftige Schlüsse ziehen zu können. Es gibt eineVielzahl an Benchmarks, die unterschiedlichste Leistungsmerkmale unterschiedlichsterKomponenten messen. So werden zum Leistungsvergleich von Prozessorenbeispielsweise der Whetstone, Dhrystone oder der SPEC-Benchmark eingesetzt.Prozessoren müssen im Rahmen dieser Benchmarks unter anderem umfangreicheGleitkommaoperationen und komplexe Instruktionen ausführen. Die Leistung vonDatenbanken kann ermittelt werden in dem auf vergleichbarer Hardware bei gleichemFüllstand der Datenbank z. B. mehrere Millionen Zeilen geschrieben oder ausgelesenwerden [DB04]. Resultierende Antwortzeiten lassen dann auf die jeweilige Performanceschließen. Eine umfangreiche Auflistung verfügbarer Benchmarks für unterschiedlicheSystemkomponenten gibt das Schriftstück [MF03, S. 18]. [Ta02, S. 134]SimulationDie Simulation versucht Applikationen, Anwendungsszenarien, Konfigurationen undDatenbestände real nachzubilden. Wie oben erwähnt ist es oftmals aus Zeit- undKostengründen nicht möglich, eine Vielzahl von Benutzern oder Computer in einenSystemtest einzubeziehen. Ein alleiniger Test am isolierten Einzelplatzsystem könnte8