ModSecurity Alert Management - OpenSource Training

AuditConsole 

ModSecurity Alert Management 

Open Source Trends 2012, Steinfurt Christian Bockermann - chris @ jwall.org

Über mich 

‣ Lehrstuhl für künstliche Intelligenz, 

Technische Universität Dortmund 

‣ Forschung im Bereich Data-Stream Mining, 

Log-Analyse, Web-Security 

‣ Entwickler von Tools um ModSecurity 

‣ AuditViewer, AuditConsole 

‣ Web Policy Compiler, Web Application 

Profiler 

‣ jwall-rbld, jwall-tools 

Computer Science Department 

Artificial Intelligence Group 


Über mich 

‣ Lehrstuhl für künstliche Intelligenz, 

Technische Universität Dortmund 

‣ Forschung im Bereich Data-Stream Mining, 

Log-Analyse, Web-Security 

‣ Entwickler von Tools um ModSecurity 

‣ AuditViewer, AuditConsole 

‣ Web Policy Compiler, Web Application 

Profiler 

‣ jwall-rbld, jwall-tools 

Computer Science Department 

Artificial Intelligence Group 

www.jwall.org 

@jwallorg 


ModSecurity 

Open Source Web Application Firewall 

AuditConsole 

Alert-Management mit der jwall.org AuditConsole 

Behind the Scenes 

Aktuelle Entwicklungen um die AuditConsole 







Entwickelt von Ivan Ristic (Start 2002) 

Aufgekauft von Breach Security ~ 9/2006 

Trustwave kauft Breach ~ Mitte 2010 

‣ Weitere Entwicklung (aktuell ModSecurity 2.6.8) 

‣ OWASP Core-Rule Set Regelwerk (Ryan Barnett) 

‣ Port für NGinx WebServer 


Ivan Ristic, 2002 

www.modsecurity.org 

Apache Security 

Ivan Ristic, 2005 

http://www.apachesecurity.net/ 



ModSecurity ist ein Filter-Modul für den Apache Web-Server 

(und NGinx) 

‣ Request Filter Engine im Web-Server 

‣ Rule Language zur Definition von Firewall-Regeln auf 

Web-Traffic 

Apache 


module 

Rule 1 

... 

Rule N 



Realzeit-Filtern von HTTP 

‣ Rule-Engine direkt im Apache Process 

‣ Komplettes Protokollieren von HTTP Zugriffen 

Virtual Patching 

‣ Schwachstellen gezielt & schnell beheben 

Web-Application Hardening & Intrusion Detection 

‣ Angriffserkennung mit generischen Regelwerken 


ModSecurity - Setups 

Apache 


Web Application 

(PHP, CGI, Python,...) 

Innerhalb des 

Web-Servers 

Apache 


mod_proxy 

http, ajp 

Application Server 

Web Application 

Als Reverse-Proxy 

System 

Apache 

Web 

Application 


Als passiver 

Sensor 



Was passiert wenn ein Angriff erkannt wird? 

‣ Eine oder mehr Regeln haben gegriffen 

‣ Je nach Konfiguration - z.B. Weiterleitung zu 

einer Fehlerseite 

‣ Die Transaktion wird protokolliert. 


ModSecurity Audit-Logs 

--289e0346-A-- 

[31/Dec/2009:15:10:58 +0100] 0vnW6X8AAAEAAHywHucAAAAE ::1 59566 ::1 80 

--289e0346-B-- 

OPTIONS * HTTP/1.0 

User-Agent: (internal dummy connection) 

--289e0346-F-- 

HTTP/1.1 200 OK 

Allow: GET,HEAD,POST,OPTIONS,TRACE 

Content-Length: 0 

Connection: close 

Content-Type: text/plain; charset=UTF-8 

--289e0346-H-- 

Message: Operator EQ matched 0 at REQUEST_HEADERS. [file "/opt/modsecurity/rules/core-rules/ 

base_rules/modsecurity_crs_21_protocol_anomalies.conf"] [line "27"] [id "960008"] [msg "Request 

Missing a Host Header"] [severity "NOTICE"] [tag "PROTOCOL_VIOLATION/MISSING_HEADER"] 

Message: Warning. Operator GE matched 5 at TX:anomaly_score. [file "/opt/modsecurity/rules/corerules/base_rules/modsecurity_crs_60_correlation.conf"] 

[line "46"] [msg "Transactional Anomaly 

Score (score 5): Request Missing a Host Header"] 

Stopwatch: 1262268658079465 19725 (18690 19256 -) 

Producer: ModSecurity for Apache/2.5.11 (http://www.modsecurity.org/); core ruleset/2.0.4. 

Server: Apache/2.2.3 (CentOS) 

--289e0346-Z-- 


--edb3cf77-A-- 

[21/Oct/2009:03:50:13 +1100] St3qRcsU0B8AADZKK0cAAAAA 12.34.56.78 57937 123.456.789.123 443 

--edb3cf77-B-- 

GET /cart/ HTTP/1.1 

Connection: Keep-Alive 

Host: example.xom 

Pragma: no-cache 

User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) 

Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, image/png, */* 

Accept-Language: en 

Accept-Charset: iso-8859-1,*,utf-8 

--edb3cf77-E-- 

 

The page cannot be found 

 

 

BODY { font: 8pt/12pt verdana } 

H1 { font: 13pt/15pt verdana } 


A:link { color: red } 

A:visited { color: maroon } 

 

 


The page you are looking for might have been removed, had its name changed, or is temporarily unavailable. 

 

 

Make sure that the Web site address displayed in the address bar of your browser is spelled and formatted 

correctly. 

If you reached this page by clicking a link, contact 

the Web site administrator to alert them that the link is incorrectly formatted. 

 

Click the Back button to try another link. 

 

HTTP Error 404 - File or directory not found.Internet Information Services (IIS) 

 

Technical Information (for support personnel) 

... 


--edb3cf77-F-- 

HTTP/1.1 404 Not Found 


Content-Type: text/html 

Vary: Accept-Encoding 

Keep-Alive: timeout=15, max=55 


--edb3cf77-H-- 

Message: String match "HTTP/1.1" at REQUEST_PROTOCOL. [file "/opt/modsecurity/etc/rules/base_rules/ 

modsecurity_crs_20_protocol_violations.conf"] [line "61"] [id "960020"] [msg "Pragma Header requires Cache- 

Control Header for HTTP/1.1 requests."] [severity "NOTICE"] [tag "PROTOCOL_VIOLATION/INVALID_HREQ"] 

Message: Warning. Operator GE matched 5 at TX:anomaly_score. [file "/opt/modsecurity/etc/rules/base_rules/ 

modsecurity_crs_60_correlation.conf"] [line "41"] [msg "Transactional Anomaly Score (score 5): Pragma Header 

requires Cache-Control Header for HTTP/1.1 requests."] 

Apache-Handler: proxy-server 

Stopwatch: 1256057413859166 67702 (355 47563 67008) 

Response-Body-Transformed: Dechunked 

Producer: ModSecurity for Apache/2.5.10-dev3 (http://www.modsecurity.org/); core ruleset/2.0.1. 

Server: Apache/2.2.14 (Debian) mod_ssl/2.2.14 OpenSSL/0.9.8g 

--edb3cf77-K-- 

SecRule "REQUEST_METHOD" "@rx ^(?:GET|HEAD)$" "phase:2,chain,t:none,block,nolog,auditlog,status:400,msg:'GET or 

HEAD requests with bodies',severity:2,id:960011,tag:PROTOCOL_VIOLATION/EVASION" 

SecRule "&REQUEST_HEADERS:Pragma" "@eq 1" "phase:2,chain,t:none,block,nolog,auditlog,msg:'Pragma Header requires 

Cache-Control Header for HTTP/1.1 requests.',severity:5,id:960020,tag:PROTOCOL_VIOLATION/INVALID_HREQ" 

SecRule "&REQUEST_HEADERS:Cache-Control" "@eq 0" "chain" 

SecRule "REQUEST_PROTOCOL" "@streq HTTP/1.1" "setvar:tx.msg=%{rule.msg},setvar:tx.anomaly_score= 

+5,setvar:tx.protocol_violation_score=+1,setvar:tx.%{rule.id}-PROTOCOL_VIOLATION/INVALID_HREQ-% 

{matched_var_name}=%{matched_var}" 

SecRule "&REQUEST_HEADERS:Content-Type" "@eq 0" "phase:2,pass,chain,t:none,nolog,auditlog,msg:'Request 

Containing Content, but Missing Content-Type header',id:960904,severity:5" 

SecRule "&TX:/SQL_INJECTION/" "@eq 0" "phase:2,auditlog,t:none,nolog,skipAfter:END_SQL_INJECTION_WEAK" 

SecAction "phase:2,auditlog,nolog,skipAfter:END_XSS_REGEX" 

SecRule "REQUEST_FILENAME" "!@pmFromFile modsecurity_46_et_sql_injection.data" "phase: 

2,auditlog,nolog,t:none,t:urlDecodeUni,t:htmlEntityDecode,t:normalisePathWin,skipAfter:END_ET_SQLI_RULES" 

SecRule "REQUEST_FILENAME" "!@pmFromFile modsecurity_46_et_web_rules.data" "phase: 

2,auditlog,nolog,t:none,t:urlDecodeUni,t:htmlEntityDecode,t:normalisePathWin,skipAfter:END_SNORT_RULES" 

SecRule "TX:ANOMALY_SCORE" "@ge 5" "phase:5,t:none,log,noauditlog,pass,msg:'Transactional Anomaly Score (score % 

{TX.ANOMALY_SCORE}): %{tx.msg}'" 

--edb3cf77-Z-- 


Open Source Trends 2012, Steinfurt Christian Bockermann - chris @ jwall.org 













 


 

 






 

 



 

 

Make sure that the Web site address displayed in the address bar of your browser is spelled and formatted correctly. 



 


 


 


... 









Message: String match "HTTP/1.1" at REQUEST_PROTOCOL. [file "/opt/modsecurity/etc/rules/base_rules/modsecurity_crs_20_protocol_violations.conf"] [line "61"] [id "960020"] [msg "Pragma Header 

requires Cache-Control Header for HTTP/1.1 requests."] [severity "NOTICE"] [tag "PROTOCOL_VIOLATION/INVALID_HREQ"] 

Message: Warning. Operator GE matched 5 at TX:anomaly_score. [file "/opt/modsecurity/etc/rules/base_rules/modsecurity_crs_60_correlation.conf"] [line "41"] [msg "Transactional Anomaly Score 

(score 5): Pragma Header requires Cache-Control Header for HTTP/1.1 requests."] 


Stopwatch: 1256057413859166 67702 (355 47563 67008) 





SecRule "REQUEST_METHOD" "@rx ^(?:GET|HEAD)$" "phase:2,chain,t:none,block,nolog,auditlog,status:400,msg:'GET or HEAD requests with bodies',severity:2,id:960011,tag:PROTOCOL_VIOLATION/EVASION" 

SecRule "&REQUEST_HEADERS:Pragma" "@eq 1" "phase:2,chain,t:none,block,nolog,auditlog,msg:'Pragma Header requires Cache-Control Header for HTTP/1.1 requests.',severity:5,id: 

960020,tag:PROTOCOL_VIOLATION/INVALID_HREQ" 


SecRule "REQUEST_PROTOCOL" "@streq HTTP/1.1" "setvar:tx.msg=%{rule.msg},setvar:tx.anomaly_score=+5,setvar:tx.protocol_violation_score=+1,setvar:tx.%{rule.id}-PROTOCOL_VIOLATION/INVALID_HREQ-% 


SecRule "&REQUEST_HEADERS:Content-Type" "@eq 0" "phase:2,pass,chain,t:none,nolog,auditlog,msg:'Request Containing Content, but Missing Content-Type header',id:960904,severity:5" 



SecRule "REQUEST_FILENAME" "!@pmFromFile modsecurity_46_et_sql_injection.data" "phase:2,auditlog,nolog,t:none,t:urlDecodeUni,t:htmlEntityDecode,t:normalisePathWin,skipAfter:END_ET_SQLI_RULES" 

SecRule "REQUEST_FILENAME" "!@pmFromFile modsecurity_46_et_web_rules.data" "phase:2,auditlog,nolog,t:none,t:urlDecodeUni,t:htmlEntityDecode,t:normalisePathWin,skipAfter:END_SNORT_RULES" 

SecRule "TX:ANOMALY_SCORE" "@ge 5" "phase:5,t:none,log,noauditlog,pass,msg:'Transactional Anomaly Score (score %{TX.ANOMALY_SCORE}): %{tx.msg}'" 














 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 






























 


 

 






 

 



 

 




 


 


 


... 














Stopwatch: 1256057413859166 67702 (355 47563 67008) 









SecRule "REQUEST_PROTOCOL" "@streq HTTP/1.1" "setvar:tx.msg=%{rule.msg},setvar:tx.anomaly_score=+5,setvar:tx.protoco

ModSecurity Log-Management 

Log-Daten sind ein Schlüsselbaustein der IT-Sicherheit 

‣ Läuft die Web-Anwendung wie erwartet? 

‣ Warum wurde ein Request geblockt? 

‣ Wie erkenne/behandle ich Fehlalarme? 

‣ Wie viele Angriffe gab es im letzten Monat? 

‣ Welche Arten von Angriffen gab es? 

‣ Was waren die häufigstens Angriffe? 



Rahmenbedingungen 

‣ Typischweise mehr Daten als manuell überschaubar 

‣ ModSecurity Daten komplex 

(vollständige Web-Anfragen, Header,..) 

‣ neue Daten fallen kontinuierlich an 



Rechtliche Aspekte 

‣ Was darf protokolliert werden? 

‣ Wer darf was einsehen? 

‣ Was ist zur Beweissicherung erforderlich? 

‣ Wie lange müssen/dürfen Log-Daten gespeichert 

werden? 


AuditConsole 

Alert-Management mit der AuditConsole 


AuditConsole 

Frei verfügbare J2EE Web-Anwendung 

‣ Live-Empfang von ModSecurity Daten 

‣ Aufbauend auf etablierten Frameworks 

‣ Hibernate, Struts2, Spring-Framework 

‣ Google Web Toolkit 

‣ Einfache Installation/Updates über Debian/RPM Pakete 

‣ Aktive Weiterentwicklung 

jwall.org AuditConsole 

www.jwall.org/AuditConsole 


AuditConsole 

Web-Interface für ModSecurity Log-Daten 

‣ Dashboard mit Live-Statistiken 

‣ Filtern/Suchen von Ereignissen 

‣ Event-Regeln zur Verarbeitung, E-Mail Benachr. 

‣ Report-Erstellung (HTML, PDF) 

‣ Verwaltung mehrerer Sensoren, Site-Konzept 

‣ Multi-User Management (Single-Sign-On) 

jwall.org AuditConsole 

www.jwall.org/AuditConsole 


AuditConsole 

ModSecurity enthält einen Log-Data Uploader „mlogc“ 

‣ Log-Daten werden temporär auf dem Web-Server 

gespeichert 

‣ mlogc wartet auf neue Log-Daten und schickt diese 

per HTTP an einen Receiver (z.B. AuditConsole) 

Apache 


mlogc 

Receiver 

(AuditConsole) 


AuditConsole 

Basis-Funktionen der AuditConsole 

‣ Speichern von Log-Data 

‣ Effiziente Speicherung in SQL-Datenbank 

‣ Indizierung der Log-Daten 

‣ Einfache Abfragesprache zur Filterung 

‣ Markierung/Tagging von Log-Daten möglich 

‣ Echtzeit-Statistiken 

AuditConsole 

Log Index 



123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 


123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 

123.456.789.012 


Filtern von Ereignissen 

‣ Einfache Filter-Sprache, Syntax nahe an ModSecurity 

REQUEST_METHOD @eq GET 

‣ Bool‘sche Verknüpfungen AND/OR für komplexere Filter 

REQUEST_METHOD @eq GET 

AND REMOTE_ADDR @eq 127.0.0.1 



Unterschiedliche Vergleichsoperatoren werden unterstützt: 

‣ @eq, @lt, @gt, =, >, =,


Zahlreiche Variablen zum Filtern verfügbar: 

‣ REQUEST_URI, REQUEST_METHOD 

‣ REQUEST_HEADERS:Host 

‣ REQUEST_HEADERS:User-Agent 

‣ RESPONSE_STATUS 

‣ TX:ANOMALY_SCORE, SEVERITY, HIGHEST_SEVERITY 

‣ RULE_ID, TAGS, SENSOR_NAME, SITE_NAME 


Darstellung von Ereignissen 

‣ Preview für schnelle Inspektion (Header/Body) 

‣ Detail-View für genaue Analyse 

‣ gesonderte Darstellung der Meldungen 

‣ Syntax-Highlighting der ModSecurity Regeln 

‣ Zugriff auf RAW-Darstellung 

‣ 1-Klick Download des Ereignisses 


Quick-View für Ereignisse 
















 


 

 






 

 



 

 




 


 


 


... 











Message: Warning. Operator GE matched 5 at TX:anomaly_score. [file "/opt/modsecurity/etc/rules/base_rules/modsecurity_crs_60_correlation.conf"] [line "41"] [msg "Transactional Anomaly Score (score 

5): Pragma Header requires Cache-Control Header for HTTP/1.1 requests."] 


Stopwatch: 1256057413859166 67702 (355 47563 67008) 



















Tagging 

‣ Ereignisse können mit Tags markiert werden 

‣ Tags können helfen Ereignisse zu sortieren 

(z.B. „false-positive“) 


Tagging 

‣ Spezielle #-tags können verwendet werden, um 

Ereignisse mit URLs zu verlinken 

‣ Interessant um z.B. Notizen/Dokumentation zu verwalten 

‣ Beispiel: 

‣ Tag für Event ist #sqli 

‣ Tag-Mapping von #sqli => http://internal.wiki/notes/sqli 


Tagging 

‣ Regressions-Test 

‣ Menge von Ereignissen als Regressions-Test Set 

‣ Filter+Download nach Tag möglich 

‣ jwall-tools erlauben HTTP-Replay von Audit-Log Daten 

# jwall eval 10.0.0.1 /path/events.dat 


AuditConsole - Event Verarbeitung 

Jedes empfangene Ereignis durchläuft einen Prozess: 

mlogc 

AuditConsole 

Web 

Receiver 

Score, DNS, 

Geo Lookup 

AuditConsole 

Site 

Mapping 

User Rule 

Engine 

Storage 

Listener 




mlogc 

AuditConsole 

Web 

Receiver 

Score, DNS, 

Geo Lookup 

Site 

Mapping 

User Rule 

Engine 

Storage 

Listener 




mlogc 

AuditConsole 

Web 

Receiver 

TCP 

Receiver 

File 

Observer 

Score, DNS, 

Geo Lookup 

Site 

Mapping 

User Rule 

Engine 

Storage 

Listener 


Site Konzept 

‣ Häufig sind Web-Umgebungen relativ komplex 

‣ Web-Anwendungen über mehrere URLs erreichbar 

‣ unterschiedliche virtuelle Hosts, Server-Aliase 

‣ Eine Site fasst mehrere Hosts/URL-Bereiche zusammen 

‣ z.B. eine Site pro Web-Anwendung 

‣ eine Site für mehrere zusammengehörige Web- 

Anwendungen 


Site Konzept 

‣ Typischerweist entspricht eine Site einer Menge virtueller 

Hosts, z.B. 

--289e0346-A-- 

[31/Dec/2009:15:10:58 +0100] 

0vnW6X8AAAEAAHywHucAAAAE ::1 59566 ::1 80 

--289e0346-B-- 

OPTIONS * HTTP/1.0 

Host: www.test.com 

User-Agent: (internal dummy connection) 

Host: 

www.test.com 

--289e0346-A-- 

[31/Dec/2009:15:10:58 +0100] 

0vnW6X8AAAEAAHywHucAAAAE ::1 59566 ::1 80 

--289e0346-B-- 

GET / HTTP/1.1 

Host: www.jwall.org 

User-Agent: wget 

Host: 

www.jwall.org 

Host: 

secure.jwall.org 

Site: 

jwall.org 

Site: 

test.com 


Site Konzept 

‣ Log-Daten können über Regeln direkt beim Empfang 

einer Site zugeordnet werden 

‣ Sehr flexible Zuordnung möglich, z.B. 

Bedingung Site 

REQUEST_HEADERS:Host @sx *jwall.org jwall.org 

REQUEST_URI @sx /myApp/* MyApp 

SENSOR_NAME = „honeypot“ HoneyPot 

SERVER_ADDR = 72.64.92.2 jwall.org 


Multi-User Konzept 

‣ Die AuditConsole enthält eine Benutzerverwaltung 

‣ Rechteverwaltung der User 

‣ Benutzerdefinierte Anfrage-Filter 

‣ E-Mail Benachrichtigung, Reports,... pro Benutzer 



Jedem Nutzer wird ein View zugeordnet, der festlegt welche 

Ereignisse er einsehen darf 

Site: 

jwall.org 

Site: 

test.com 



‣ Zusätzlich Integration von SSO-Lösungen möglich 

‣ OpenID 

‣ Google-Login 

‣ Zentrale Authentifikation über CAS 


Event Regeln 

Benutzer können Regeln für Ereignisse definieren 

‣ Löschen von Ereignissen (im View) 

‣ Tag/Markieren eines Ereignisses 

‣ E-Mail Benachrichtigungen 

‣ Aufruf externer Skripte 

‣ Aufruf externer URLs 


Event Regeln 

Benutzer können Regeln für Ereignisse definieren 

‣ Löschen von Ereignissen (im View) 

‣ Tag/Markieren eines Ereignisses 

‣ E-Mail Benachrichtigungen 

‣ Aufruf externer Skripte 

‣ Aufruf externer URLs 

GET fw.jwall.org/block.pl?ip=%{REMOTE_ADDR} 


Event Regeln 


Reporting 

DocBook basierte Reporting Engine 

‣ Aggregation von Ereignissen 

‣ Top-k Statistiken (z.B. häufigsten 10 IPs) 

‣ Integration mit Ereignis-Filtern 

‣ Country Map, basierend auf GeoIP 

‣ Report-Templates verfügbar, eigene Reports erstellbar 

‣ Erzeugt HTML Reports (und PDF) 


Reporting 

Geographische Darstellung von Angriffen: 

 

Geographic Distribution of Attacks 

 

 

.... 

 

 


Reporting 

Geo-IP Darstellung in Reports möglich 


Reporting 

Einfache Aggregation von Stati nach z.B. Host: 

 

Summary of Response Status per Host 

 

Dies ist nur ein kleines Beispiel. 

 

 

 


Reporting 

Einfache Aggregation von Stati nach z.B. Host: 


AuditConsole 

Aktuelle Version ist 0.4.6 

‣ Getestet mit Apache Derby, MySQL, PostGres, Oracle 

‣ Empfängt bis zu 80~90 events/Sekunde via HTTP, 

+200 via TCP 

‣ Live-Dashboard 

‣ Läuft in gängigen Servlet Containern (Jetty, Tomcat) 

‣ bietet optionale REST API,integrierter RBL-Server 

‣ einfache Installation über Debian/RPM Pakete 


AuditConsole 

‣ Top Log-Management Tool der ModSecurity Comunity 

‣ Zentrale Log-Console des Web Honeypot Projektes 

‣ Im Produktiv-Einsatz bei ein paar Unternehmen 

‣ Sponsoring durch Donations 


Behind the Scenes 

Aktuelle Entwicklungen der AuditConsole 


AuditConsole - 0.4.7-SNAPSHOT 

‣ Unterstützung für andere Log-Formate 

‣ IronBee WAF 

‣ Apache Access-Log, Error-Log 

‣ Syslog-Receiver für Log-Daten 


AuditConsole - 0.4.7-SNAPSHOT 

Cluster Support 

‣ Verteilter Speicher+Index auf mehreren DBs 

‣ Ziel: Skalierbarkeit für mehrere Web-Server 

(J) Ruby Scripting 

‣ Skript-Sprache für spezifische Aufgaben 

‣ Skripte sollen auf Cluster laufen können 


AuditConsole Cluster 

‣ Eine einzelne zentrale Datenbank ist schnell ausgelastet 

‣ ModSecurity in Umgebungen mit vielen Servern 

AuditConsole 

DataNode 

database 

AuditConsole 

Master 

AuditConsole 

Apache 

AuditConsole 

DataNode 

database 

database 

Apache 

AuditConsole 

DataNode 

database 





Apache 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

AuditConsole 

DataNode 

database 

AuditConsole 

DataNode 

database database 

database 

Apache 

Apache Apache Apache Apache Apache Apache 





Apache 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 


database 

Apache 

Apache Apache Apache Apache Apache 

Apache 



‣ Jeder Knoten soll zentrale Konfiguration verwenden 

‣ Für den Nutzer bleibt der Cluster „unsichtbar“ 

Apache 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 


database 

Apache 

Apache Apache Apache Apache Apache 

Apache 





Apache 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

Event Rules 

Event Rules 

Sensors 

Sensors 

Site-Mappings 

Site-Mappings 

AuditConsole 

DataNode 


database 

Apache 






Apache 

AuditConsole 

DataNode 

Event Rules 

Sensors 

AuditConsole 

Master 

AuditConsole 

DataNode 

Event Rules 

Sensors 

Site-Mappings 

Event Rules 

Sensors 

Site-Mappings 

AuditConsole 

DataNode 

Event Rules 

Sensors 

Site-Mappings 

Site-Mappings 


database 

Apache 




AuditConsole Cluster stellt einen verteilten Index und 

verteilten Speicher der Log-Daten bereit 

AuditConsole 

DataNode 

database 

AuditConsole 

Master 

AuditConsole 

DataNode 

database 

AuditConsole 

DataNode 

database 





AuditConsole 

DataNode 

database 

User Query 

AuditConsole 

Master 

AuditConsole 

DataNode 

database 

AuditConsole 

DataNode 

database 





AuditConsole 

DataNode 

database 

User Query 

AuditConsole 

Master 

AuditConsole 

DataNode 

database 

AuditConsole 

DataNode 

database 





AuditConsole 

DataNode 

database 

User Query 

AuditConsole 

Master 

AuditConsole 

DataNode 

database 

AuditConsole 

DataNode 

database 





AuditConsole 

DataNode 

database 

Query Results 

AuditConsole 

Master 

AuditConsole 

DataNode 

database 

AuditConsole 

DataNode 

database 


(J) Ruby Scripting 

‣ Einige Aufgaben erfordern mehr Kontrolle 

‣ Idee: Skript-Sprache zur Behandlung von Ereignissen: 

# tag all POST methods with score > 40 

# 

method = $event.get( “REQUEST_METHOD“ ) 

score = $event.get( “TX:ANOMALY_SCORE“ ) 

if( method == ‘POST‘ && score > 40 ) 

$view.tag( $event, ‘dangerous‘ ) 

end 


(J) Ruby Scripting im Cluster 

JRuby Scripting + Cluster erlaubt Ausführung von Skripten im 

Stile von Map&Reduce: 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 





AuditConsole 

DataNode 

Trigger Ruby Script 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 





AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 





Compute 

Results (Map) 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 





Merge Results 

(Reduce Step) 

Compute 

Results (Map) 

AuditConsole 

DataNode 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 





Merge Results 

(Reduce Step) 

Compute 

Results (Map) 

AuditConsole 

DataNode 

Script Results 

AuditConsole 

Master 

AuditConsole 

DataNode 

AuditConsole 

DataNode 


AuditConsole 

‣ Aktueller Entwicklungsstand 

‣ Verteilter Index mit DataNodes 

‣ Zentrale Konfiguration (Sites, Sensors, Rules) 

‣ Prototyp für JRuby Scripting 


Policy Management (geplant) 

‣ Anpassen aktueller ModSecurity Regelwerke 

‣ Einfache Ausnahmen (z.B. per Kontext-Menü) 

‣ Integration der Web Policy Language 

‣ Web-Editor für Web Policies 

‣ Verteilung von Regeln z.B. über curl-API 


AuditConsole Support 

‣ Aktuell „best effort“ Support über Mailing-Liste 

console-users@lists.jwall.org 

‣ Zusätzlich (unvollständiges) Handbuch unter 

http://jwall.org/AuditConsole/user-guide/ 


AuditConsole History 

‣ Ausgang war ein Log-Parser/Viewer in Java 

‣ Idee zur Web-Console kam im Gespräch mit Ralf Spenneberg 

‣ Erste Web-Oberfläche zum Anzeigen, Filtern, Tagging 

‣ Support für Event-Regeln 

‣ Reporting Engine („Sponsor“: Pure Hacking) 

‣ Rewrite des Web-UI mit GWT, Dashboard 

‣ OpenID/CAS/Google Single-Sign-On 

‣ Integration RBL, REST-API

ModSecurity Alert Management - OpenSource Training

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?