Linux-Magazin Clean Linux (Vorschau)

Programmieren
www.linux-magazin.de Perl-Snapshot 09/2013
104
alle Einträge, die ursprünglich aus der
Datei »nagios.debug« stammen, mit dem
Eventtyp. Hängt einer Suchabfrage der
Ausdruck »NOT eventtype=nagios‐chatter«
an, filtert die Eventsuche das Nagios-
Geplapper aus.
Als Nächstes fallen mir die Logevents aus
einem nächtlich laufenden Backupprozess
auf. Das dabei eingesetzte »rsync«-
Kommando kann offenbar einige Dateien
mangels hinreichender Zugriffsrechte
nicht kopieren, was jede Nacht die Logdatei
»backup.all.log« vollschreibt. Ein
Eventtyp namens »rsync‐chatter« soll sie
ausfiltern.
Um die Suchbefehle kurz zu halten, definiere
ich den Eventtyp »chatter«, der mit
aus »/var/log/messages«, die von fehlgeschlagenen
Passworteingaben berichten
und manueller Analyse bedürfen.
Mit Hadoop skalieren
Klar, es wäre im Einzelfall einfacher, statt
des Datenwusts in »/var/log« gleich die
richtige Datei »/var/log/auth.log« zu lesen.
Der große Vorteil von Splunk aber ist
gerade, dass es alle (!) Logfiles und sogar
die ganzer Serverfarmen speichert und
Suchabfragen darauf zulässt. Damit dies
auch in großen Rechenzentren klappt,
nutzt Splunk im Backend einen Hadoop-
Cluster ([4], [5]), der die aufwändige
Berechnung der Suchergebnisse auf mehrere
Knoten verteilt.
eventtype="nagios‐chatter" OR
eventtype="rsync‐error"
beide Filter kombiniert, sodass Suchanfragen
nur »NOT eventtype=chatter« anhängen
müssen, um mit Hilfe weiterer,
beliebig erweiterbarer Filter Loggeplapper
auszublenden. Übrig bleiben bloß
die in Abbildung 5 gezeigten Meldungen
Abbildung 5: Ohne »nagios‐chatter« und »backup‐rsync‐error« bleiben nur die wichtigen Events übrig.
Listing 1: »daily‐incidents«
01 #!/usr/local/bin/perl ‐w
02 use strict;
03 use XML::Simple;
04 use LWP::UserAgent;
05 use JSON qw( from_json );
06 use Text::ASCIITable;
07 use Net::SMTP;
08 use Email::MIME;
09 use File::Basename;
10
11 my $host = "127.0.0.1";
12 my $port = 8089;
13 my $login_path =
14 "servicesNS/admin/search/auth/login";
15 my $user = "admin";
16 my $password = "changeme";
17 my $from_email = 'm@perlmeister.com';
18 my $to_email = $from_email;
19 my $subject = 'Daily Incidents';
20 my $smtp_server = 'smtp.provider.net';
21
22 my $ua = LWP::UserAgent‐>new( ssl_opts =>
23 { verify_hostname => 0 } );
24
25 my $resp = $ua‐>post(
26 "https://$host:$port/$login_path",
27 { username => $user,
28 password => $password } );
29
30 if( $resp‐>is_error() ) {
31 die "Login failed: ", $resp‐>message();
32 }
33
34 my $data = XMLin( $resp‐>content() );
35 my $key = $data‐>{ sessionKey };
36
37 my $header = HTTP::Headers‐>new(
38 Authorization => "Splunk $key" );
39 $ua‐>default_headers( $header );
40
41 $resp = $ua‐>post(
42 "https://$host:$port/servicesNS" .
43 "/admin/search/search/jobs/export",
44 { search => "search fail* OR error " .
45 "NOT eventtype=chatter earliest=‐24h",
46 output_mode => "json",
47 },
48 );
49
50 my $t = Text::ASCIITable‐>new( {
51 headingText => $subject } );
52 $t‐>setCols( "date", "source", "log" );
53 $t‐>setColWidth( "date", 10 );
54 $t‐>setColWidth( "log", 34 );
55
56 for my $line ( split /\n/,
57 $resp‐>content() ) {
58 my $data = from_json( $line );
59 next if !exists $data‐>{ result };
60 my $r = $data‐>{ result };
61 $t‐>addRow( $r‐>{ _time },
62 basename( $r‐>{ source } ),
63 $r‐>{ _raw } );
64 }
65
66 my $smtp = Net::SMTP‐>new( $smtp_server );
67
68 my $email = Email::MIME‐>create(
69 header_str => [
70 From => $from_email,
71 To => $to_email,
72 Subject => $subject,
73 ],
74 parts => [
75 Email::MIME‐>create(
76 attributes => {
77 content_type => "text/html",
78 disposition => "inline",
79 charset => "UTF‐8",
80 encoding => "quoted‐printable",
81 },
82 body_str =>
83 "$t",
84 )
85 ],
86 );
87
88 $smtp‐>mail( $from_email );
89 $smtp‐>to( $to_email );
90 $smtp‐>data();
91 $smtp‐>datasend( $email‐>as_string );
92 $smtp‐>dataend();
93 $smtp‐>quit();