Benchmark-Überblick SPECpower_ssj2008® - Fujitsu

Benchmark-Überblick
SPECpower_ssj2008®
Version 1.0
August 2009
Seiten 8
Abstract
Dieses Dokument stellt den Benchmark SPECpower_ssj2008® vor, der von der Standard Performance
Evaluation Corporation (SPEC®) entwickelt und veröffentlicht wurde.
SPECpower_ssj2008 misst die Energieeffizienz von Servercomputern der Volume-Klasse durch Bewertung
der Leistungsaufnahme- und Performance-Eigenschaften des zu testenden Systems (System Under Test,
SUT). SPECpower_ssj2008 ermöglicht aufgrund seines definierten Messstandards den Vergleich der
Energieeffizienz mit anderen Konfigurationen und Servern, die mit diesem Benchmark gemessen wurden.
Inhalt
SPECpower_ssj2008 – Ein Überblick .................................................................................................... 2
Ziel des Benchmarks .............................................................................................................................. 2
Komponenten des Benchmarks ............................................................................................................. 3
Testablauf von SPECpower_ssj2008 ..................................................................................................... 4
Messergebnisse und deren Interpretation .............................................................................................. 5
Literatur ................................................................................................................................................... 8
Kontakt .................................................................................................................................................... 8

White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
SPECpower_ssj2008 – Ein Überblick
Die „Standard Performance Evaluation Corporation“, oder kurz SPEC genannt, ist eine renommierte
Organisation, die sich auf die Entwicklung und Veröffentlichung von standardisierten Benchmarks zum
Beurteilen der Leistung von Computersystemen spezialisiert hat. Da die Energieeffizienz von Servern für die
IT-Branche und Regierungen ein Thema mit hohem Stellenwert geworden ist, hat SPEC mit der Entwicklung
von SPECpower_ssj2008 das erste Mal Standards zur Messung der Leistungsaufnahme von Servern
definiert. Die Mitglieder des SPEC-Konsortiums sind die führenden Unternehmen der Computerbranche, wie
z. B. Fujitsu.
SPEC veröffentlichte zuerst SPECpower_ssj2008 V1.0 im Dezember 2007, gefolgt von
SPECpower_ssj2008 V1.10 im April 2009. Die wichtigste neue Funktion des Nachfolgers
SPECpower_ssj2008 V1.10 ist die Unterstützung von Multi-Node-Servern, um die Energieeffizienz von
modernen Mehrfachsystemen zu messen, wie z. B. von Blades, die gemeinsame Infrastrukturen verwenden.
Des Weiteren bietet VAM (Visual Activity Monitor) eine grafische Echtzeit-Anzeige der während der
Ausführung des Benchmarks erfassten Daten.
Der Zweck dieses Dokuments besteht darin, einen Überblick zur Funktionsweise dieses Benchmarks und
zur Interpretation seiner Ergebnisse bereitzustellen.
Ziel des Benchmarks
Beim Vergleich von Systemen ist es im Grunde die individuelle Kundenanwendung, die letztendlich den
Maßstab vorgibt. Aufgrund des Zeitmangels, der Komplexität oder anderer Gründe ergeben sich häufig
keine Gelegenheiten, um eine Vielzahl unterschiedlicher Systeme mit einer Kundenanwendung zu testen
und so das am besten geeignete System zu ermitteln. Benchmarks wurden entwickelt, um dem Kunden
dennoch objektive Kriterien zur Systemauswahl bereitzustellen. Dabei handelt es sich um standardisierte
Tools, die die Leistung und mittlerweile auch die Energieeffizienz einzelner Systemkomponenten oder des
gesamten Systems messen.
SPECpower_ssj2008 misst die Energieeffizienz von Servercomputern der Volume-Klasse durch Bewertung
der Leistungsaufnahme- und Performance-Eigenschaften des zu testenden Systems (System Under Test,
SUT). Der Benchmark erstellt einen Bericht über die Leistungsaufnahme bei elf Laststufen, die in 10-
Prozent-Abschnitten von 100 Prozent bis Active Idle reichen, wobei Geschäftstransaktionen mit einer
typischen serverseitigen Java-Anwendung verarbeitet werden. Die gemessene Leistungsaufnahme wird in
Beziehung zu den erzielten Performance-Werten gesetzt. Aus den Ergebnissen bei allen Laststufen wird
eine Gesamtkennzahl für das Leistungsaufnahme-Performance-Verhältnis berechnet, die die
Energieeffizienz des gemessenen Servers angibt.
Mit der Workload-Abstufung wird der Tatsache Rechnung getragen, dass die Verarbeitungslast und die
Leistungsaufnahme eines Servers im Verlauf von Tagen oder Wochen erheblichen Schwankungen
unterworfen sind. Zur Berechnung einer Leistungsaufnahme-Performance-Kennzahl für alle Leistungsstufen
werden die jeweils gemessenen Transaktionsdurchsatzwerte aufaddiert und dann durch die Summe der auf
den einzelnen Stufen aufgenommenen elektrischen Leistung dividiert. Das Ergebnis ist die
SPECpower_ssj2008 Kennzahl mit der Bezeichnung „overall ssj_ops /watt“. Dieses Verhältnis gibt die
Energieeffizienz des gemessenen Servers an.
Der Teil „ssj2008“ im Namen des Benchmarks steht für die Workload, bei der es sich um typische
serverseitige Java-Geschäftsanwendungen handelt. Die Workload ist skalierbar, hat mehrere Threads, ist
portierbar für eine Vielzahl von Betriebssystemen und wirtschaftlich in der Ausführung. Sie bewertet die
CPUs, die Caches, die Speicherhierarchie und die Skalierbarkeit von symmetrischen Multiprozessor-
Systemen (SMP) sowie Implementierungen der Java Virtual Machine (JVM), den Just-In-Time-Compiler
(JIT), die Garbage Collection, Threads und einige Betriebssystemaspekte.
Obwohl die Art der Workload vom SPECjbb2005 Benchmark abgeleitet ist, sind die beiden Workloads
aufgrund grundlegender Unterschiede beim Mix, Scheduling und Timing der Transaktionen nicht
vergleichbar.
©Fujitsu Technology Solutions 2009 Seite 2 (8)

White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
Komponenten des Benchmarks
CCS
Control & Collect System
Linux / Solaris / Windows
Linux / Solaris / Windows
AC
Power
Control
Collect
PTDaemon
power
Key:
setup
Power
Analyzer
Device
ssj2008
director
ccs-log.csv
logs
PTDaemon
temp
Java Code
Temperature
Sensor
C Code
SUT
System Under Test
AC Power
“Any” OS
“Any” OS
SPECpower
ssj_2008
workload
JVM instance
setup
JVM instance
logs
properties
JVM instance
configuration
log files
©SPEC 2007-2009
SPECpower_ssj2008 besteht im
Wesentlichen aus vier Komponenten:
System Under Test (SUT, das
zu testende System)
Controller & Collection System
(CCS)
Power & Temperature Daemon
(PTDaemon)
Director-Softwaremodul
Innerhalb einer vorgegebenen
Testumgebung gibt es mehrere Wege,
um die verschiedenen Softwaremodule
des SPECpower_ssj2008-Benchmark-
Pakets zu verteilen und auszuführen.
So kann z.B. jede der oben genannten
Komponenten auf jeweils eigener
Hardware oder alle Komponenten auf
einem System ausgeführt werden. Für
den regelkonformen Ablauf ist das CCS
auf die Ausführung auf einem System
beschränkt, das vom SUT getrennt ist.
Die Aufgaben der einzelnen Komponenten werden in den nächsten Abschnitten beschrieben.
SUT und dessen Workload - Das SUT ist ein Serversystem mit einem einzigen Adressraum (d. h. es
verwendet nur einen globalen, gemeinsam genutzten virtuellen Adressraum) oder eine homogene
Zusammenstellung solcher Systeme, die alle elektrisch relevanten Ressourcen gemeinsam nutzen, wie z. B.
ein moderner Blade-Server. Eine Anzahl von JVM-Instanzen führt die Workload aus – eine Java-
Geschäftsanwendung, die einen festgelegten Mix von Transaktionen generiert und abschließt. Der
Durchsatz ist die Anzahl der pro Sekunde abgeschlossenen Transaktionen innerhalb eines festgelegten
Zeitraums.
CCS (Controller & Collection System) - Das CCS ist das zentrale Modul, das alle Performance-Daten vom
SUT und alle Leistungsaufnahme- und Temperaturdaten von PTDaemon erfasst. Das CCS muss auf einem
vom SUT getrennten System ausgeführt werden, das Controller genannt wird.
Leistungsaufnahme- und Temperaturmessung - Das Leistungsmessgerät und der Temperatursensor
werden von Instanzen des PTDaemon gesteuert, die die Messdaten der Geräte erfassen und an das CCS
senden. Falls mehrere Leistungsmessgeräte oder Temperatursensoren verwendet werden, können
entsprechend viele Instanzen von PTDaemon ausgeführt werden. Sie werden in der Regel auch auf dem
Controllersystem gestartet.
Die Leistungsaufnahme wird durch ein Leistungsmessgerät gemessen, das sich zwischen der
Wechselstromversorgung und dem SUT befindet. Zur regelkonformen Ausführung des Benchmarks sind
technische Abnahmeanforderungen für das verwendete Leistungsmessgerät zu beachten. Die Messdaten
werden zur späteren Korrelierung mit den Performance-Werten bei den einzelnen Laststufen aufgezeichnet,
um die Benchmark-Kennzahl zu berechnen.
Die Temperatur wird mithilfe ein oder mehrerer Temperatursensoren gemessen, um sicherzustellen, dass
die Umgebungstemperatur während des Benchmarks nicht unter 20 Grad Celsius liegt. Auch für die
verwendeten Temperatursensoren sind zur regelkonformen Ausführung des Benchmarks technische
Abnahmeanforderungen zu beachten.
Director Softwaremodul- Das Director-Modul ist eine Java-Anwendung zur Steuerung und Koordinierung
mehrerer JVM-Instanzen auf dem SUT, die die Workload ausführen. Es kommuniziert mit dem CCS und wird
in der Regel auch auf dem Controllersystem ausgeführt.
©Fujitsu Technology Solutions 2009 Seite 3 (8)

Average Transaction Rate
_init_xxxxxxxxxx
Calibration 1
_inter_
Calibration 2
_inter_
Calibration 3
_inter_
100% Load
_inter_
90% Load
_inter_
80% Load
_inter_
70% Load
_inter_
operations per second
60% Load
_inter_
50% Load
_inter_
40% Load
_inter_
30% Load
_inter_
20% Load
_inter_
10% Load
_inter_
Active Idle
_inter_
White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
Testablauf von SPECpower_ssj2008
Ein regelkonformer Benchmark-Lauf besteht aus einer Abfolge von elf Laststufen, die in 10-Prozent-
Abschnitten von 100 Prozent bis Active Idle reichen. Der gesamte Benchmark-Lauf benötigt etwa 70 Minuten
bis zur Fertigstellung.
Die Anwendung startet mit einer Kalibrierungsphase, die den maximalen Durchsatz des Systems
ermittelt, indem sie Transaktionen bei maximal möglicher Rate generiert. Die Kalibrierungsphase besteht
aus mindestens drei 4-Minuten-Iterationen und ermöglicht den JVM-Instanzen, zur Optimierung die Just-
In-Time-Kompilierung und andere Laufzeitanpassungen ausreichend anzuwenden. Der maximale
Durchsatz, der zur Berechnung der Laststufen verwendet wird, ist der Mittelwert der in den letzten
beiden Iterationen der Kalibrierungsphase erzielten Durchsätze.
Nachdem der maximale Durchsatz ermittelt wurde, berechnet die Anwendung die Durchsatzwerte, die
den einzelnen Laststufen entsprechen (100 %, 90 %, …, 20 %, 10 % und 0 % des kalibrierten
Maximalwerts). Die 0-%-Laststufe wird auch als „Active Idle“ bezeichnet. In diesem Fall ist das System
bereit, Transaktionen anzunehmen, es werden jedoch keine ausgeführt. Es ist zu beachten, dass die
Einteilung der Laststufen auf dem Durchsatz des SUT und nicht auf dessen Auslastung basiert.
Anschließend startet der Benchmark das Messintervall, bei dem die Workload elf Laststufen durchläuft.
In jeder Laststufe werden Transaktionen mit der entsprechenden Zielrate generiert. Zur Bestimmung der
Zeitpunkte, zu denen die Transaktionen angestoßen werden, wird eine zufällige Verteilung verwendet.
Graduated Load Levels during a Compliant Benchmark Run
150000
100000
ssj_ops/s
50000
0
Load level
.
Jede Laststufe ist in vier Phasen unterteilt:
1. Die inter-Phase ist die Unterbrechung
zwischen den verschiedenen
Laststufen.
2. Die ramp up-Phase ermöglicht es der
Anwendung, einen stabilen Zustand
für die aktuelle Laststufe zu erreichen.
3. In der recording-Phase werden die
Performance- und
Leistungsaufnahmedaten erfasst, d. h.
dies ist das eigentliche Messintervall.
4. In der ramp down-Phase beendet die
Anwendung noch ausstehende
Transaktionen.
Recording
ramp
ramp
up
down
inter
inter
240 seconds
30 secs 30 secs
5 secs 5 secs
time
©SPEC 2007-2009
©Fujitsu Technology Solutions 2009 Seite 4 (8)

White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
Nach Abschluss des Messintervalls generiert das Berichtsmodul mehrere Berichtsdateien, die detaillierte
Informationen über die Testumgebung und die Benchmark-Ergebnisse enthalten. Die wichtigsten dieser
Ergebnisse werden im nächsten Abschnitt beschrieben.
Messergebnisse und deren Interpretation
Die SPECpower_ssj2008-Kennzahl ist als „overall ssj_ops / watt“ definiert und gibt die Energieeffizienz des
SUT an. Sie wird berechnet aus dem Verhältnis des ssj_ops-Gesamtdurchsatzes (der Summe aller ssj_ops-
Ergebnisse für alle Laststufen) und der Summe aller Leistungsaufnahme-Mittelwerte in Watt für alle
Laststufen:
Je mehr ssj_ops das SUT pro Watt Leistungsaufnahme verarbeiten kann, umso höher ist die
SPECpower_ssj2008-Kennzahl und damit die Effizienz des SUT.
Die Tabelle rechts ist Teil des SPECpower_ssj2008-
Ergebnisblatts und listet die Benchmark-Ergebnisse auf
für
den Durchsatz „ssj_ops“,
den Energieverbrauch „Average Power (W)“,
den resultierenden Energieeffizienzwert
„Performance to Power Ratio“ (ssj_ops /
Durchschnittl. Energieverbrauch (W))
für die individuelle „Target Load“ von 100 % bis Active
Idle.
Der letzte Eintrag in der Tabelle ist die
SPECpower_ssj2008-Kennzahl „∑ssj_ops/∑power“.
Zu beachten ist, dass diese Kennzahl intern mit
hochpräzisen Werten berechnet wird, sodass sie sich
von den aus den gerundeten Tabellenwerten
errechneten Werten unterscheiden kann.
Target
Load
Performance
Actual
Load
ssj_ops
Power Performance
Average to Power
Power Ratio
(W)
100% 99.3% 144,801 121 1,198
90% 90.4% 131,811 118 1,114
80% 79.9% 116,589 115 1,016
70% 69.1% 100,817 110 916
60% 60.0% 87,459 105 831
50% 49.5% 72,158 99.1 728
40% 40.1% 58,417 92.7 630
30% 29.9% 43,538 85.9 507
20% 19.5% 28,397 79.9 356
10% 10.1% 14,787 75.0 197
Active Idle 0 69.3 0
∑ssj_ops / ∑power = 746
Neben dieser Tabelle werden die Ergebnisse zur besseren Veranschaulichung zusätzlich in einer Grafik
dargestellt. Diese Grafik wird auf der nächsten Seite näher erläutert. Auch sie ist Teil des
SPECpower_ssj2008-Ergebnisblatts.
©Fujitsu Technology Solutions 2009 Seite 5 (8)

White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
Das Diagramm veranschaulicht, wie
die Effizienz des SUT mit jeder 10-%-
Steigerung der Laststufe von Active
Idle bis 100 % zunimmt.
Die roten horizontalen Balken
zeigen das Durchsatz-
Leistungsaufnahme-Verhältnis in
ssj_ops/Watt (obere X-Achse des
Diagramms) für jede Laststufe (Y-
Achse des Diagramms) an.
Die blaue Linie mit den kleinen
Rautensymbolen zeigt den Verlauf
der mittleren Leistungsaufnahme
(untere X-Achse) für jede Laststufe
an.
Die schwarze vertikale Linie zeigt
das Benchmark-Ergebnis an, das in
diesem Beispiel „746 overall ssj_ops
/Watt“ beträgt.
Die wichtigsten Einflüsse auf die Energieeffizienz sind diejenigen, die sich auf die Performance (ssj_ops), die
Leistungsaufnahme (Watt) oder beides auswirken.
Performance-Faktoren:
JVM – Unterschiedliche Java Virtual Machines liefern unterschiedliche Performance.
JVM-Parameter – Optimale Performance wird von der JVM nur erreicht, wenn ihre Parameter
optimiert sind.
Mehrere SSJ-Instanzen – Jede JVM sollte nicht mehr als 8 Warehouse-Threads ausführen. Die
optimale Performance wird in der Regel bei einer Verteilung von einem Warehouse-Thread pro Core
erreicht.
Aufgliederung von SSJ-Instanzen – Beim Ausführen mehrerer SSJ-Instanzen wird die
Performance erhöht, wenn diese auf gemeinsam genutzte Caches, Sockets oder NUMA-Knoten
verteilt werden.
HW- und OS-Einstellungen – Einstellungen im BIOS und Betriebssystem (z. B. Konfigurieren von
Prefetch-Funktionen oder Aktivieren von Large Pages) haben Auswirkung auf die Performance.
Leistungsaufnahmefaktoren:
Lüftersteuerung im BIOS – Durch Auswahl der optimalen Einstellungen für die Steuerung der
Lüftergeschwindigkeit kann die Leistungsaufnahme ohne Performance-Einbußen verringert werden.
OS-Energiemanagement – Die meisten Betriebssysteme unterstützen Energiemanagement-
Einstellungen. Bei Microsoft Windows Server 2003 beispielweise können durch Auswahl der Option
„balanced power and server performance“ in den Energieoptionen der Systemsteuerung ohne starke
Performance-Einbußen Energieeinsparungen erzielt werden. Bei Linux unterstützt der CPUFreq
Governor ähnliche Energiesparmechanismen.
Netzteile (PSU) – Der Wirkungsgrad der Netzteilkonfiguration des SUT spielt bei der
Energieeinsparung eine wichtige Rolle. So wird durch Verringerung der Anzahl der redundanten
Netzteile eine geringere Leistungsaufnahme bewirkt.
Massenspeicherkonfiguration – Da der SPECpower_ssj2008-Benchmark nur sehr wenige
Datenträgerzugriffe ausführt (um während der Ausführung Protokolldateien zu speichern), wird der
Durchsatz durch die Datenträgerkonfiguration nur minimal beeinflusst – im Gegensatz zur
Leistungsaufnahme. Im realen Betrieb hat die Datenträgerkonfiguration immer Auswirkungen –
sowohl auf die Performance als auch auf die Leistungsaufnahme.
©Fujitsu Technology Solutions 2009 Seite 6 (8)

White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
Auswirkungen auf Performance und Leistungsaufnahme:
CPU-Konfiguration – Die Auswahl der Prozessoren des SUT hat Auswirkungen auf die
Performance wie auch auf die Leistungsaufnahme. Spezielle CPUs mit kleiner Thermal Design
Power (TDP) und niedrigeren Spannungen können ein besseres Verhältnis von Performance und
Leistungsaufnahme liefern.
BIOS-Energiemanagement-Optionen – Derzeit gibt es zwei wichtige Energiesparmodi, die so
genannten „P-States“ und „C-States“, die per BIOS-Einstellungen konfiguriert werden können. Diese
Einstellungen können auch Auswirkungen auf die Performance des SUT haben.
o P-States beschreiben unterschiedliche Betriebszustände. Durch die Verringerung der
Arbeitsfrequenz wird die Arbeitsgeschwindigkeit des Prozessors verringert und somit auch
der Energieverbrauch pro Sekunde (d. h. Leistungsaufnahme). Durch die Verringerung der
Spannung werden die Leckströme der CPU-Transistoren herabgesetzt, wodurch der
Prozessor energieeffizienter arbeitet und sich weitere Energieeinsparungsmöglichkeiten
o
ergeben.
Die grundlegende Idee der C-States (oder Idle-States) ist es, das Taktsignal und die
Stromversorgung bei inaktiven Einheiten innerhalb der CPU abzuschalten. Die erneute
Verwendung dieser Einheiten kann aufgrund von Latenzen bei der Reaktivierung zu
Performance-Einbußen führen.
Speichergröße und -Performance – Durch Vergrößerung des Arbeitsspeichers (RAM) nehmen
sowohl Performance als auch Leistungsaufnahme zu. Die Performance steigt jedoch nur bis zum
Erreichen der optimalen RAM-Größe an, während die Leistungsaufnahme mit der Anzahl der
Speichermodule bis zur maximal möglichen Konfiguration zunimmt und dabei zusätzlich von der Art
der Speichermodule abhängig ist. Außerdem kann auch die Steckplatzanordnung von Bedeutung
sein, wenn das SUT mehrere Speicherkanäle oder Speicherverschränkung (Interleaving) unterstützt.
Optimierung der Energieeffizienz des SUT unter realen Lastbedingungen
Ergänzend zur Energieeffizienz als Quotient von Durchsatz und Leistungsaufnahme sind im realen Betrieb
immer die absoluten Werte von Durchsatz und Leistungsaufnahme von Bedeutung. Zur Einschätzung der
Leistungsaufnahme müssen insbesondere die Laststufen bekannt sein, bei denen ein reales System
betrieben wird. Die Messergebnisse des SPECpower_ssj2008-Benchmarks können hierzu Anhaltspunkte
geben.
©Fujitsu Technology Solutions 2009 Seite 7 (8)

White Paper Benchmark-Überblick SPECpower_ssj2008® Version: 1.0, August 2009
Literatur
PRIMERGY-Systeme
http://de.ts.fujitsu.com/primergy
PRIMERGY Performance
http://de.ts.fujitsu.com/products/standard_servers/primergy_bov.html
SPECpower_ssj2008
http://www.spec.org/osg/power_ssj2008
Kontakt
PRIMERGY Hardware
PRIMERGY Product Marketing
mailto:Primergy-PM@ts.fujitsu.com
PRIMERGY Performance und Benchmarks
PRIMERGY Performance und Benchmarks
mailto:primergy.benchmark@ts.fujitsu.com
Lieferung vorbehaltlich Verfügbarkeit, technische Änderungen ohne
Vorankündigung möglich, Korrektur von Irrtümern und Auslassungen
vorbehalten.
Alle angegebenen Konditionen (TCs) sind empfohlene Einstandspreise in
Euro ohne MwSt. (sofern im Text nicht anderweitig angegeben). Sämtliche
verwendete Hardware- und Software- Namen sind Handelsnamen und/oder
Warenzeichen ihrer jeweiligen Hersteller.
Copyright © Fujitsu Technology Solutions GmbH 2009
Herausgegeben durch:
Enterprise Products
PRIMERGY Server
PRIMERGY Performance Lab
mailto:primergy.benchmark@ts.fujitsu.com
Internet:
http://ts.fujitsu.com/primergy
Extranet:
http://partners.ts.fujitsu.com/com/products/serv
ers/primergy