JVM Monitoring - Tobias Frech

JVM Monitoring
Verfügbarkeit und Performance aus
Sicht der Java Virtual Machine
Tobias Frech

Warum Monitoring?
● primäres Interesse:
Verfügbarkeit der Anwendung
● Minimierung von Ausfallzeiten
– schnelles Alarming
– rasche Fehlersuche und -abhilfe
– potentielle Fehlerquellen frühzeitig erkennen
● Schlechte Perfomance auf Grund von
Resourcen-Engpässen erkennen

Was monitoren?
● Anwendungssystem als „Stack“, JVM ist Teil
dieses Stacks
● Abhängigkeiten:
– Ausfall einer unteren Schicht beeinflußt
Verfügbarkeit der darüberliegenden Schicht
– Verfügbarkeit der unteren Schicht garantiert
nicht die Verfügbarkeit der darüberliegenden
Schicht
● Monitoring aller Schichten, um Fehler schneller
zu finden und Ressourcenengpässe frühzeitig zu
erkennen.

Anwendung
App-Server /
Framework
JVM
OS
betriebswirtschaftliche
Prozesse
Session-Verwaltung,
Connection Pools,
Transaktionsmanager
Speichermanagement,
Speichermanagement
Thread-Management,
Code-Kompilierung (JIT)
RAM, Festplattenspeicher,
Prozessmanagement, File
handles, TCP-Sockets

Garbage Collection
aus http://java.sun.com/docs/hotspot/gc5.0/gc_tuning_5.html

● Logs
Werkzeuge
● JConsole / JMX / JSR-160
● JDK Tools
● SNMP

Log-Dateien
● Garbage Collection (GC)
– -verbose:gc / -XX:+PrintGC / -Xloggc:datei
– -XX:+PrintGCDetails
– -XX:+PrintGCTimeStamps
– -XX:+PrintTenuringDistribution
● GCViewer (http://www.tagtraum.com/gcviewer.html)
● Kompilierung
– -XX:+PrintCompilation
– -XX:-DontCompileHugeMethods

JConsole / JMX
● JMX: MBeans / MBeanServer
● JConsole als JMX-Agent
● Lokal aktivieren:
– JDK 5: -Dcom.sun.management.jmxremote
– JDK 6: nix, dank Attach API
● Seit JDK 6 Plugin API vorhanden:
com.sun.tools.jconsole

● jps
● jstat
JDK Monitoring Tools

jps
● listet die lvmid aller für den ausführenden
Benutzer monitorbaren JVMs auf
● -l für vollen Package-Namen
● -v für JVM-Argumente
● -m für Argumente an die main-Methode

jstat
● liefert zur lvmid Informationen zu
Classloading, Compiler und
Speichermanagement
● zyklische Anzeige möglich, einstellbare
Frequenz
● limitierte Anzahl möglich

jstat -class
Loaded Bytes Unloaded Bytes Time
2307 2523,7 0 0,0 0,69
2512 2790,0 0 0,0 0,78
2928 3299,8 0 0,0 0,90
3146 3494,9 0 0,0 0,98
3616 4121,5 0 0,0 1,17
4044 4690,1 0 0,0 1,35
4194 4871,0 0 0,0 1,71
4289 4995,2 0 0,0 1,75
4480 5213,1 0 0,0 1,82
4844 5729,0 0 0,0 2,76
5097 6025,9 0 0,0 3,07
5132 6067,2 0 0,0 3,09
5170 6104,3 0 0,0 3,10
5203 6143,1 5 11,1 3,11
5224 6162,9 5 11,1 3,11

jstat -compiler
Compiled Failed Invalid Time FailedType FailedMethod
341 0 0 5,79 0
386 0 0 6,84 0
442 0 0 7,72 0
478 0 0 9,72 0
514 0 0 10,03 0
550 0 0 11,34 0
550 0 0 11,34 0
551 0 0 11,40 0
551 0 0 11,40 0
551 0 0 11,40 0
553 0 0 11,42 0
564 0 0 12,18 0

jstat -gc
S0C S1C S0U S1U EC EU OC OU
64,0 64,0 0,0 47,0 960,0 681,4 12912,0 10493,7
128,0 128,0 128,0 0,0 1280,0 0,0 17808,0 10766,0
128,0 128,0 94,8 0,0 1280,0 0,0 17808,0 13257,1
128,0 128,0 0,0 70,3 1280,0 0,0 17808,0 14803,1
128,0 128,0 0,0 75,1 1280,0 0,0 17808,0 16427,0
192,0 192,0 0,0 0,0 1792,0 0,0 25892,0 15533,8
192,0 192,0 0,0 90,9 1792,0 373,5 25892,0 18214,1
192,0 192,0 0,0 113,4 1792,0 37,4 25892,0 19589,0
PC PU YGC YGCT FGC FGCT GCT
12288,0 18,5 449 0,352 6 0,306 0,657
12288,0 18,5 516 0,405 7 0,396 0,801
12288,0 18,5 568 0,458 7 0,396 0,853
12288,0 18,5 621 0,507 7 0,396 0,903
12288,0 18,5 675 0,557 7 0,396 0,953
12288,0 18,5 722 0,603 8 0,542 1,145
12288,0 18,5 761 0,655 8 0,542 1,196
12288,0 18,5 799 0,700 8 0,542 1,242

jstat, weitere Optionen
● gccapacity: zeigt min, max und current
der Generations
● gccause: zeigt Grund der momentanen
GC (Allocation Failure, System.gc(),...)
● gcnew: Parameter der „Promotion“ von
Young nach Tenured, ähnlich -XX:
+PrintTenuringDistribution
● gcnewcapacity, gcold, gcoldcapacity,
gcpermcapacity, gcutil

JDK Troubleshooting Tools
● Fehlersuche:
– jinfo (JVM-Parameter und -Environment)
– jstack (Stack / Thread incl. Locks)
– jmap (Speicheranalyse und -dumps)
– jhat (Speicherdump-“Browser“)

● jstatd
Remote Werkzeuge
● JMX Remote API: JSR 160
– JConsole
– MC4J (2.0 alpha 1, 18. Juni 2006)
● SNMP

jstatd
● Erlaubt den Zugriff von jps und jstat von
einem entfernten System aus
● keine Sicherungsmechanismen
● benötigt jedoch policy-Datei:
– jstatd -J-Djava.security.policy=jstatd.all.policy
● jps servername
● jstat -gc lvmid@servername
● Achtung: RMI, dies hat seine Tücken!

JConsole Remote
JMX (JSR 160) für remote-Zugriffe öffnen:
-Dcom.sun.management.jmxremote.port=12345
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false

SNMPv2c Agent
● Simple Network Management Protocol
● Agent kann in der JVM aktiviert werden:
-Dcom.sun.management.snmp.port=portNum
● Abgesichert über ACL-Datei:
-Dcom.sun.management.snmp.acl.file=ACLFilePath
oder deaktiveren:
-Dcom.sun.management.snmp.acl=false
● MIB enthält: statische OS und JVM
Informationen, dynamisch: Threads,
Memory/GC

MBeanServer integrieren
● für JBoss:
● -Djavax.management.builder.initial=
org.jboss.system.server.jmx.MBeanServerBuilderImpl
● -Djboss.platform.mbeanserver
● ermöglicht vielfältige Monitormöglichkeiten
über die JVM hinaus

● Server
Beispiel JBoss (I)
– jboss.system:type=ServerInfo
• TotalMemory, ActiveThreadCount
● GC / „Free Memory“
– java.lang:name=Copy,type=GarbageCollector
• CollectionCount (δ), CollectionTime (δ)
– java.lang:name=MarkSweepCompact,type=GarbageCollec
tor
• CollectionCount (δ), CollectionTime (δ)
● Operating System
– java.lang:type=OperatingSystem
• SystemLoadAverage, OpenFileDescriptorCount,
FreePhysicalMemorySize

● HTTP-Connector:
Beispiel JBoss (II)
– jboss.web:type=ThreadPool,name=http-0.0.0.0-8080
• currentThreadsBusy, currentThreadCount
– jboss.web:type=GlobalRequestProcessor,name=http-
0.0.0.0-8080
• requestCount (δ), maxTime
● Webanwendung:
– jboss.web:type=Manager,path=/,host=localhost
• activeSessions, maxActive
● Transaktions-Manager:
– jboss:service=TransactionManager
• RollbackCount (δ), CommitCount (δ)

● JMS:
Beispiel JBoss (III)
– jboss.mq.destination:service=Queue,name=DLQ
• QueueDepth, SubscribersCount, ReceiversCount
● Datasource:
– jboss.jca:service=ManagedConnectionPool,name=myDS
• AvailableConnectionCount
● Frameworks, z.B. Hibernate:
– Hibernate:type=statistics
• SuccessfulTransactionCount (δ), OptimisticFailureCount
(δ), TransactionCount (δ)
● MBeans der Anwendung

Sinnvolles Monitoring
● Wenn möglich SLAs erfassen,
regelmäßiges Feedback zum Nutzer über
SLA-Berichte
● Erfasst alle Schichten und Lastquellen
● bzgl. JVM:
– PermGenSpace überwachen
– FreeMemory nicht sinnvoll
– Frequenz und Dauer der Garbage Collection
(insb. Tenured Generation) sinnvoller

Vielen Dank an die Photographen
(in order of appearance :-) )
Áron Balogh (cctv)
Fant0men (BSOD, GPL)
Daniel Wildman (lego)
Sanja Gjenero (tools, why?)
Marcelo Terraza (helmet)