Linux-Magazin Clean Linux (Vorschau)

Programmieren
www.linux-magazin.de Perl-Snapshot 09/2013
102
Splunk filtert verschiedene Logdaten
Meldungen wie Heu
Die Kunst, in einer überbordenden Menge an Logdaten die wirklich relevanten zu finden, scheint Splunk bestens
zu beherrschen. Auch Perlmeister Schilli wirft seine Systemmeldungen dem proprietären Analysewerkzeug
vor, bringt der kostenfreien Variante aber einige Enterprise-Features bei. Michael Schilli
funktionen kombinieren, sodass selbst
Splunk-Neulinge ihre Abfragen nach kurzer
Einarbeitungszeit ähnlich wie echte
Programmierer durch neue Filter erweitern.
Wenn sie eine Weile die Sedimente
im Informationsfluss gewaschen haben,
kommen die handlichen Informations-
Goldklumpen zutage. Vorsicht: Bereits
die kostenlose Basisversion birgt alle Gefahren
eines kapitalen Goldrausches.
Strukturiert importiert
© srapulsar38, 123RF
Um Logdaten gewaltigen Ausmaßes und
noch dazu aus sehr unterschiedlichen
Quel len zu analysieren, bedarf es eines
entsprechend mächtigen Werkzeugs. Es
soll Textmeldungen von Web- und Applikationsservern
sowie von Netzwerkroutern
und anderen Systemen zusammenführen,
indizieren und schnelle Suchabfragen
zulassen.
Das kommerzielle Splunk ([2], [3]) hat
sein Können auf diesem Gebiet selbst in
den Rechenzentren großer Internetfirmen
bewiesen, steht aber in der Basisversion
auch kostenlos für den Hausgebrauch auf
gängigen Linux-Plattformen bereit. Nach
der Installation startet »splunk start« den
Daemon sowie das Webinterface, in dem
Online PLUS
In einem Screencast demonstriert
Michael Schilli das Beispiel: [http://​
www.linux-magazin.de/​plus/​2013/09]
der User das System konfigurieren und
Suchabfragen loslassen darf wie auf einer
Internetsuchmaschine (Abbildung 1).
Gold im Fluss
Das Verfahren stellt dem Admin alle verteilt
geloggten Daten zentral und indiziert
bereit. Mit der mächtigen Suchsyntax gelingen
nicht nur Volltextsuchen über den
Datenbestand, sondern auch fundierte
statistische Analysen à la „Welche sind
die zehn häufigsten URLs, die alle meine
Webserver zusammen in den letzten zwei
Stunden ausgeliefert haben?“.
Außerdem dämpft Splunk die Geschwätzigkeit
solcher Logs, bei denen interessante
Nachrichten unterzugehen drohen.
Der Benutzer definiert nach und nach
Ereignistypen, an denen er nicht interessiert
ist, und Splunk blendet sie aus
dem Ergebnis aus. Ereignistypen lassen
sich wiederum in übergeordneten Such-
Die Zeilen einer Logdatei interpretiert
Splunk als Events und jede der Meldungen
besteht aus Feldern (Fields). Steht im
Accesslog eines Webservers zum Beispiel
»GET /index.html«, dann setzt Splunk
das Feld »method« auf »GET« und das
Feld »uri« auf »/index.html« (siehe Abbildung
2).
Es versteht von Haus aus eine Reihe von
Formaten wie Syslog, die Errorlogs von
Webservern oder Json, sodass der User
zum strukturierten Import dieser Daten
keinen Finger rühren muss. Zum Importieren
lokaler Logdateien konfiguriert er
im Menü »Add data« nur ein Verzeichnis
wie »/var/log« (Abbildung 3), woraufhin
sich der Splunk-Indexer alle darunterliegenden
Dateien einverleibt. Ändern
sich diese dynamisch, schnappt sich der
Splunk-Daemon auch die neuen Einträge,
Suchabfragen berücksichtigen ab sofort
die neuen Informationen.
Andere Formate importiert der User,
indem er Splunk zum Beispiel mittels
regulärer Ausdrücke anweist die Felder
aus den Events zu extrahieren. Zu den
im Logeintrag existierenden Feldern fügt
Splunk interne Hinweise hinzu. So definieren
die Felder »source« die Datei,
aus der die Information stammt (falls sie