Log Server Centralizzato - Infn

Log Server Centralizzato
CCR2003 - Paestum - 11 Giugno 2003
Sandro.Angius@lnf.infn.it - Claudio.Soprano@lnf.infn.it

Server, Farm, Apparati di Rete:
tutti generano log sul loro funzionamento!
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 2

Come vengono prodotti i log?
• I sistemi unix usano il demone standard syslogd
(rfc3164) per definire cosa e dove inviare i messaggi
generati dai servizi e dalle applicazioni
• La maggior parte degli apparati di rete e’ capace di
inviare i propri messaggi di diagnostica tramite il
protocollo syslog
• Non tutte le applicazioni pero’ supportano l’invio dei
messaggi via syslog
• Generalmente i log risiedono sul sistema che li genera!
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 3

Log NON centralizzati significa:
• Definire su ogni sistema le politiche per la gestione dei log
– Cosa, Come, Dove e per quanto tempo mantenere i log
• Dover accedere sul sistema interessato per analizzare i log
– Nel caso di servizi ridondati (es: http, proxy, smtp, etc.) occorre verificare i log su tutti i
server che offrono lo stesso servizio
• Maggiore difficolta’ nell’analisi, report e archiviazione
• Possibili “DOS” che puntano al blocco di un servizio per esaurimento
dello spazio disco (se i log sono sul disco sistema…)
• I log sono modificabili da eventuali intrusi…
• Ogni cambio di politica comporta dover riconfigurare tutti i sistemi!
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 4

Come centralizzare ?
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 5

Un primo passo: syslog su sistema dedicato
514/UDP
Syslogd
syslog.conf
# syslog.conf dei client
*.* @syslogsrv.lnf.infn.it
# Estratto da un possibile syslog.conf
# per un syslogd server centrale
authpriv.*
mail.*
cron.*
uucp,news.crit
local7.*
local6.*
local5.*
/var/log/secure
/var/log/maillog
/var/log/cron
/var/log/spooler
/var/log/boot.log
/var/log/myapps.log
/var/log/others.log
.. omissis ..
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 6

Syslog: Formato Messaggi (RFC3164)
Syslog Packet (massimo 1024 bytes)
Priority
(3..5 bytes)
Header
Message
Timestamp Hostname Tag Content
• Priority = 8 * Facility + Severity
• Header
– Timestamp: Data e Ora del messaggio
– Hostname: Nome dell’host origine del messaggio
• Message
– Tag: Programma origine del messaggio
– Content: Messaggio informativo
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 7

etc/syslog.conf standard
# Configuration file example for syslogd
# Store critical stuff in critical
*.=crit;kern.none
/var/adm/critical
# Kernel messages are first, stored in the kernel
file,
# critical messages and higher ones also go to another
# host and to the console
#
kern.*
/var/adm/kernel
kern.crit
@finlandia
kern.crit
/dev/console
kern.info;kern.!err
/var/adm/krninfo
# The tcp wrapper loggs with mail.info, we display
# all the connections on tty12
#
mail.=info /dev/tty12
# Store all mail concerning stuff in a file
#
mail.*;mail.!=info
/var/adm/mail
# Log all mail.info and news.info messages to info
#
mail,news.=info/var/adm/info
# Log info and notice messages to messages file
#
*.=info;*.=notice;\
mail.none /var/log/messages
# Log info messages to messages file
#
*.=info;\
mail,news.none /var/log/messages
# Emergency messages will be displayed using wall
#
*.=emerg *
# Messages of the priority alert will be directed
# to the operator
#
*.alert root,joey
*.* @finlandia
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 8

Syslog standard: le limitazioni
• Un solo “net source” (udp/514) oltre al /dev/log
• Alcune implementazioni prevedono l’uso di socket aggiuntive
• “Destinazioni” limitate
• “solo” 20 “facilities” di cui solo 8 non riservate
– kern, user, mail, daemon, auth, authpriv, syslog, lpr, news, uucp, cron, ftp
– General Purpose: local0 … local7
• 8 “severities”
– emerg, alert, crit, err, warning, notice, info, debug
• Alcune implementazioni prevedono l’invio ad una pipe/fifo
• Nessuna possibilita’ di filtrare/catalogare i log in base al
contenuto
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 9

Un possibile passo successivo:
uso di un parser per i log
514/UDP
Syslogd
syslogd.conf
Log
Parser
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 10

Oppure: Syslog Next Generation
514/UDP
TCP/UDP Ports
Pipe / FIFO
Syslogd
Next Generation
Internal
syslog-ng.conf
TCP
UDP
Pipe
FIFO
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 11

Syslog NG
• Compatibile con il protocollo di syslogd
• “Sources” :
– udp/514, fifo/pipe, file, tcp/udp, internal,
unix-stream/dgram, sun-stream
• Possibili output:
– file, fifo/pipe, tcp/udp, program, usertty, unix-stream/dgram
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 12

Syslog NG: Filtri
Priority
(3..5 bytes)
Syslog Packet (massimo 1024 bytes)
Header
Message
Timestamp Hostname Tag Content
Per facility(faciliy[,facility]) e level(pri[,pri1..pri2[,pri3]])
Per nodo: host(regexp)
Per applicativo: program(regexp)
Per contenuto: match(regexp)
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 13

Syslog NG: Message Paths
Opzioni Generali
Opzioni “source” Opzioni “filter” Opz. “destination”
Source
Source
Source
Source
F
i
l
t
e
r
F
i
l
t
e
r
F
i
l
t
e
r
F
i
l
t
e
r
F
i
l
t
e
r
Destination
Destination
Destination
Destination
Destination
Destination
Destination
M e s s a g e P a t h s
• In Syslog NG si definiscono, tramite le statement log, dei “Message paths”, costituiti da:
– uno o piu’ “sorgenti” (statement source)
– una o piu’ regole di “filtro” (statement filter)
– una o piu’ “destinazioni” (statement destination)
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 14

Syslog NG: Sintassi
• 5 gli statement utilizzati per la configurazione: source, filter, destination, log, options
• source { source-driver(params); source-driver(params); ... };
• filter { expression; };
• destination { destination-driver(params); destination-driver(params); ... };
• log { source(s1); source(s2); ... filter(f1); filter(f2); …
destination(d1); destination(d2); ... flags(flag1[, flag2...]); };
• options { option1(params); option2(params); ... };
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 15

Syslog NG: Macro e Opzioni
• L’output su file permette di usare una serie di
macro che facilitano la catalogazione
• Macro (output su file):
– DATE, DAY, FACILITY, FULLDATE, FULLHOST, HOST, HOUR ,ISODATE, MIN,
MONTH, MSG or MESSAGE, PRIORITY or LEVEL, PROGRAM, SEC, TAG, TZ,
TZOFFSET, WEEKDAY, YEAR
• Opzioni (output su file):
– create_dirs, dir_perm, global, fsync, group, log_fifo_size, owner, perm, remove_if_older
num, sync_freq, template, template_escape
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 16

Syslog NG: un mini esempio (1/4)
options {
create_dirs (no); dir_perm(0755); dns_cache(yes);
use_dns(yes);
log_fifo_size(2048); log_msg_size(8192);
long_hostnames(on); use_fqdn(yes); perm(0644);
sync(0); time_reopen (10);
};
source src {
unix-stream("/dev/log");
internal();
pipe("/proc/kmsg");
};
source net { udp(); };
source special {tcp(ip(127.0.0.1) port(4800) keep-alive(yes)); };
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 17

Syslog NG: un mini esempio (2/4)
destination console { usertty("root"); };
destination smtprelay { file("/var/log/mailing/smtprelay.log"); };
destination smtpclient { file("/var/log/mailing/smtpclient.log"); };
destination imap { file("/var/log/mailing/imap.log"); };
destination l_messages { file("/var/log/logsrv/messages.log"); };
destination example {
file(“/var/log/example/$HOST/$YEAR/$MONTH/$DAY/$FACILITY.log
owner(root) group(root) perm(0600) create_dirs(yes) dir_perm(0700));
};
destination sms { program("/usr/custom/bin/sendsms +393xxxzzzyyyy“); };
destination swatch { program("/usr/bin/swatch --read-pipe=\"cat /dev/fd/0\"");};
destination other { udp(“192.169.12.234” port(514)); };
destination network { file("/var/log/net/$HOST/gen.log" create_dirs(yes)); };
destination _notmatched_ { file("/var/log/notmatched.log"); };
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 18

Syslog NG: un mini esempio (3/4)
filter f_mail { facility(mail); };
filter f_smtprelay { host("smtp1") or host(“smtp2"); };
filter f_smtpclient { host(“imap1") or host(“wmail") or host(“serv3"); };
filter f_sendmail { program("sendmail"); };
filter f_imap { program("imapd"); };
filter f_network
};
{ host("swcalc1") or host("swcalc2") or
host("swcalcfarm1") or host("swaeta") or
host("swaetb"); or … etc etc …
filter f_diskmsg { match(“disk fault on”); };
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 19

Syslog NG: un mini esempio (4/4)
log { source(src); filter(f_emergency); destination(console); };
log { source(src);
destination(l_messages);flags(final);};
log { source(net); filter(f_network); destination(network); flags(final);};
log { source(net); filter(f_diskmsg); destination(sms);};
log { source(net); filter(f_smtpclient); filter(f_imap);
destination(imap);
flags(final);};
log { source(net); filter(f_smtpclient); filter(f_sendmail);
destination(smtpclient);flags(final);};
log { source(net); filter(f_smtprelay); filter(f_sendmail);
destination(smtprelay); flags(final);};
log { source(net); destination(example); flags(final);};
log { source(net); destination(_notmatched_); };
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 20

Come inviare i log?
• Non tutte le applicazioni hanno la possibilita’ di ridirigere
i loro log verso un server tipo syslog!
– Ma tutti scrivono dei file o possono indirizzare delle pipe/fifo…
• Si puo’ usare il comando “logger” per inviare i messaggi
verso syslog:
– tail -f /var/log/squidaccess.log --lines=0 --follow=name |
logger -p local6.info -t squid
– Oppure “|/usr/bin/logger -p local6.info -t myappl –i”
se l’applicazione puo’ scrivere direttamente su pipe/fifo
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 21

Generare log da applicazioni “C”
#include
char *ident = "MyApplication";
int syslogopt = LOG_PID;
int facility = LOG_USER;
openlog(ident, syslogopt, facility);
char *sysmsg = "Info via syslog";
int priority = LOG_ERR | LOG_USER;
syslog(priority, sysmsg);
closelog();
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 22

Generare log da applicazioni “Perl”
use Sys::Syslog;
$ident = “MyApplication”;
openlog($ident, ’pid’, ’user’);
syslog(’mail|warning’, ’this is a test: %d’, time);
closelog();
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 23

Dai log ai DB via SQL
• Syslog NG permette di scrivere i logs su Server SQL
usando delle “destination” di tipo pipe/fifo e dei
“templates” (versione 1.5 e successive)
• Server SQL gia’ implementati tramite “template” creati da
utenti:
– Mysql
– Oracle
– PostgreSQL
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 24

Da Syslog NG a MySql Server(1/2)
Da una tabella:
CREATE DATABASE syslog;
USE syslog;
CREATE TABLE logs (
host varchar(32) default NULL, facility varchar(10) default NULL,
priority varchar(10) default NULL, level varchar(10) default NULL,
tag varchar(10) default NULL, date date default NULL,
time time default NULL,
program varchar(15) default NULL,
msg text, seq int(10) unsigned NOT NULL auto_increment,
PRIMARY KEY (seq), KEY host (host), KEY seq (seq), KEY program (program),
KEY time (time), KEY date (date), KEY priority (priority),
KEY facility (facility)
) TYPE=MyISAM;
E per tramite di una pipe:
mkfifo /tmp/mysql.pipe
mysql -u theuserid --password=thepassword syslogdb < /tmp/mysql.pipe
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 25

Da Syslog NG a MySql Server(2/2)
Puo’ essere usata la seguente destination pipe:
destination d_mysql {
pipe("/tmp/mysql.pipe"
template("INSERT INTO logs (host, facility, priority,
level, tag, date, time, program, msg) VALUES( '$HOST',
'$FACILITY', '$PRIORITY', '$LEVEL', '$TAG',
'$YEAR-$MONTH-$DAY', '$HOUR:$MIN:$SEC',
'$PROGRAM', '$MSG' );\n")
};
);
template-escape(yes)
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 26

Da Syslog NG a Oracle Server
destination d_oracle {
pipe("/dev/ora.pipe"
template("INSERT INTO logs (LL_HOST, LL_facility,
LL_priority, LL_level, LL_tag, LL_DATE, LL_program, LL_msg)
VALUES ( '$HOST', '$FACILILITY', '$PRIORITY', '$LEVEL',
'$TAG', to_date('$YEAR.$MONTH.$DAY $HOUR:$MIN:$SEC',
'yyyy.mm.dd hh24:mi:ss'), '$PROGRAM', substr('$MSG',1,511));
\n COMMIT;\n")
};
);
template-escape(yes)
Per lo script di comunicazione con Oracle: http://vermeer.org/syslog/scripts/
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 27

Da Syslog NG a PostgreSQL
destination d_postgres {
file("/spool/syslog2pgsql/log.$YEAR.$MONTH.$DAY.$HOUR.$MIN.$SEC"
template("INSERT INTO msg_table VALUES \( '$R_ISODATE',
'$S_ISODATE', '$HOST', '$FACILITY', '$PRIORITY',
'$MSG'\)\;\n")
template_escape(yes)
};
);
owner(postgres)
Per lo script di comunicazione con PostgreSQL: http://www.umialumni.com/~ben/SYSLOG-DOC.html
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 28

Considerazioni
• Il log server centrale DEVE essere molto sicuro!
• Attenzione all’uso della macro $PROGRAM
– Puo’ essere usata per produrre un “DOS” !
• L’uso corretto delle macro puo’ rendere superfluo il
“logrotate” dei file
• Considerare l’uso di “tcp” invece di “udp” per i messaggi
di log che non devono essere assolutamente “persi”
• Rendere “poco” visibile il log server centrale
– Mantenere i log (anche) in locale!
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 29

Log Server: quanto chiuso?
Sources
SyslogNG
(Archive)
SyslogNG
(Monitor)
TTY
SSH
• Sistema “sicuro” == Sistema spento e scollegato dalla rete!
• Occorre un compromesso, ad esempio:
• “Adeguata” protezione dei server “Sources”
• Creazione di un log server (Archive) accessibile solo da console e che preveda
la scrittura dei log su supporti WORM.
• Log server in cascata (Monitor) per la normale attivita’ di controllo
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 30

Riferimenti
• http://www.balabit.com/products/syslog_ng/
– Versione attuale: 1.6.0rc3
– http://www.balabit.com/downloads/syslog-ng/
• RFC 3164
– http://www.ietf.org/rfc/rfc3164.txt?number=3164
• Mailing list:
– https://lists.balabit.hu/mailman/listinfo/syslog-ng
• FAQ:
– http://www.campin.net/syslog-ng/faq.html
CCR2003 - Log Server Centralizzato - 11 Giugno 2003 31

Domande ?
http://www.lnf.infn.it/~angius/logsrv.pdf
Sandro.Angius@lnf.infn.it - Claudio.Soprano@lnf.infn.it