PDF Vortrag Alfred Schlaucher
PDF Vortrag Alfred Schlaucher
PDF Vortrag Alfred Schlaucher
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Operationalisierung des<br />
<br />
Data Warehouse und<br />
Real Time Decision<br />
sind längst Alltag<br />
Architekturbeispiele und<br />
Einsatzszenarien
Frank Püchl, PAYBACK GmbH<br />
Bjoern Staender, Oracle Deutschland<br />
<strong>Alfred</strong> <strong>Schlaucher</strong>, Oracle Deutschland
15:00 – 16:15<br />
<br />
Operationalisierung des<br />
Data Warehouse<br />
Oracle Data Warehouse<br />
PAYBACK:<br />
noSQL DB<br />
als operationales DWH<br />
16:15 – 16:45 P a u s e<br />
1 6 : 4 5 - 1 8 : 0 0<br />
Realtime Decisions
Adaption von BI+W Systemen*<br />
Unaware Tactical Focused Strategic Pervasive<br />
Einzelne<br />
Berichte,<br />
Spreadsheets<br />
unkoordiniert<br />
Bereitstellung<br />
von<br />
Auswertesystemen<br />
auf einem techn.<br />
Level.<br />
Isolierte<br />
Lösungen<br />
gezielte<br />
Unterstützung<br />
einzelner<br />
Geschäftsfelder<br />
Zentrale,<br />
Übergreifendes<br />
Anforderungs-<br />
Management<br />
(BICCs)<br />
BI+<br />
Performance<br />
Management<br />
Strategy<br />
Unternehmensweites<br />
standardisiertes<br />
Kennzahlensystem<br />
Einbettung<br />
BI in Prozesse<br />
Automatisierte<br />
Nutzung<br />
Unmittelbares<br />
Überführen<br />
von Wissen<br />
in Aktion<br />
*nach Gartner
Bei 154 unternehmensweit aufgestellten<br />
Oracle-DWH- Systemen*<br />
Das DWH darf nicht länger als X Std. still stehen,<br />
sonst sind operative Abläufe behindert.<br />
Keine unmittelbare Auswirkung 27 %<br />
24 Std 43 %<br />
4 Std. 18 %<br />
Wird das DWH auch über Analysen hinaus für operative Aufgaben<br />
genutzt<br />
nein 43 %<br />
kaum, 1 – 2 Prozesse 18 %<br />
Eine wachsende Anzahl von Gesch. Proz. 27 %<br />
Mindestens alle wichtigen Gesch. Proz.<br />
*Befragung / Auswertung deutscher Oracle-DB Kunden, 2012
Erfahrungen bei einem Telco-Unternehmen*<br />
Eignung von DWH-Systemen<br />
für operative Zwecke weil:<br />
Operativ eingesetzte Lösungen<br />
sind selbstverstärkend<br />
Daten sind verfügbar<br />
Flexible Entwicklungsprozesse<br />
(weil erprobte Vorgehensweisen)<br />
Kurze Umsetzungszeiten<br />
Schnittstellen vorhanden<br />
Zusatz-<br />
Anforderung<br />
Infrastruktur<br />
Oft aus Notsituationen heraus<br />
entstanden<br />
Zeitdruck<br />
Ungeklärte Anforderungen mit<br />
hoher Änderungswahrscheinlichkeit<br />
Bekanntheitsgrad<br />
Kunden-<br />
Zufriedenheit<br />
*Aus dem <strong>Vortrag</strong> „Chancen und Risiken operativer DWH-Anwendungen“ Oracle DWH-Konferenz, März 2009
Was macht das DWH für den operativen<br />
Einsatz so interessant?<br />
1<br />
Zentral und<br />
Unternehmensweit<br />
Daten sollten zentral und leicht<br />
für alle Benutzergruppen<br />
gleichermaßen zugänglich sein<br />
2<br />
Erklärende Mehrwerte<br />
Business-Semantik<br />
Leicht verstehbare Daten:<br />
- Informationen statt Daten<br />
- Semantische Zusammenhänge<br />
3<br />
Historisierung<br />
Trendfähige Informationen durch<br />
Aufbewahrung und Aufbereitung<br />
historischer Daten<br />
4<br />
Entkopplung von<br />
op. System<br />
Flexibel und unabhängig von<br />
operativen Anwendungen<br />
analysieren können<br />
7<br />
A
Operationalisierte Verwendung ist kein<br />
Selbstzweck<br />
Mit Data Warehouse<br />
Integrationsfähigkeit/<br />
Schnittstellenvielfalt<br />
Neutralisierung<br />
von Informationen<br />
Historische Sicht<br />
Hilfe bei komplexen,<br />
bereichsübergreifenden<br />
Aufgaben<br />
Ohne Data Warehouse<br />
Aufwand für Schnittstellen-<br />
Programmierung<br />
Gefahr von Einseitigkeit<br />
Fehlende Vergleiche und<br />
Statistiken,<br />
schwere Vorhersage<br />
Fehlendes Wissen über<br />
andere Sachgebiete<br />
Höhere Qualität<br />
Oft nur marginale Qualitätsanforderungen<br />
Fehlende Standards
Operational Data Warehouse: Abgrenzung zu<br />
reinem Realtime Decisioning<br />
Letztes<br />
Jahr<br />
Letztes<br />
Quartal<br />
Letzten<br />
Monat<br />
gestern<br />
jetzt<br />
Wettbewerber<br />
Gesamte<br />
Branche<br />
Gesamtes<br />
Unternehmen<br />
Benachbarte<br />
Abteilung<br />
Realtime<br />
Monitoring<br />
• Operationale Verwendung und Realtime-Betrachtung dicht beieinander<br />
• Eine reine Realtime-Betrachtung ist nur operatives Tun ohne jedes Gedächtnis<br />
Nur wer die Vergangenheit kennt, kann die Gegenwart verstehen
Was bedeutet:<br />
„Operationalisierte Verwendung“<br />
• Unterstützung bei operativen (taktischen) Entscheidungen<br />
• Separater Informationsbestand<br />
• Abstrahiert und neutralisiert von OLTP-Aktivitäten<br />
• Übergreifende Sicht<br />
• Themenübergreifend<br />
• Abteilungsübergreifend<br />
• Aufgabenübergreifen<br />
• Zeitpunktübergreifend (historisch)<br />
• Allgemein verfügbar<br />
• Im Sinne von Unternehmensressource<br />
• Mehr als nur eine lokale, anwendungsbezogene Datenhaltung
Aspekte des „Operativen“<br />
- beratend<br />
- Lose Kopplung<br />
- keine Abhängigkeiten<br />
-Taktische Entscheidungen<br />
unterstützend<br />
steuernd<br />
operativ<br />
ausführend<br />
Eingebunden in<br />
operative Abläufe,<br />
- Feste Kopplung<br />
- Abhängigkeiten<br />
Controlling operational DWH<br />
Executives operational DWH<br />
z. B.*<br />
Skill-based Routining im Call Center<br />
z. B.*<br />
Warteschleifendauer im Call Center<br />
Kundenwertabhängige Retentionangebote<br />
Tarifwechsel-Kampagnen aufgrund von<br />
Tarifsimulation<br />
Kundenrückgewinnung<br />
Neukunden-(Antrags-)-Prüfung<br />
Händlerkommissionen<br />
Anfragen durch die Polizei<br />
Bonuspunkteermittlung<br />
Intercarrier-Billing für Messaging<br />
Gutscheine für Prepay Kunden<br />
*Beispiele aus einem Telco-Kontext
Die Folgen<br />
Operativ<br />
Taktisch<br />
Überschaubar / aggregiert<br />
überschaubar<br />
Hochvolumig / granular<br />
DWHs wachsen<br />
schneller als OLTPs<br />
Enormer<br />
Storage-Bedarf<br />
Schneller<br />
wachsende Kosten<br />
DWH<br />
Strategisch<br />
Jahr/Quartal/Monat<br />
Komplexe Informations-<br />
Ausarbeitung und Analysen<br />
Woche/Tag<br />
Periodische Berichte<br />
Stunde/Minute/Sekunde/Realtime<br />
oft und schnell<br />
wiederholbare Einzel-informationen<br />
12
Bedingungen + architektonische<br />
Anforderungen im DWH<br />
Hohe Standardisierung<br />
Integriertes MDM<br />
Maximale<br />
Granularität<br />
Data Integration Layer<br />
Enterprise Information Layer<br />
User View Layer<br />
Process neutral / 3 NF<br />
?<br />
Kurze<br />
Latenzzeiten<br />
Sachgebietsübergreifend<br />
unternehmensweit<br />
Integrierte<br />
kompakte<br />
Ablage<br />
Fraglich,<br />
obsolet
Mittel<br />
• Automatismen<br />
• Berechnungen oder Aggregationen<br />
in Abhängigkeit von Schwellwerten<br />
und Events<br />
• Funktionen zu den Daten bringen<br />
• Daten so wenig wie möglich bewegen<br />
• In Database-Aktivitäten<br />
• Appliance-Lösungen (z. B. Exadata)<br />
• Flexibel skalieren können<br />
• Permanentes und planbares Wachstum<br />
• Schnell aktionsfähig sein<br />
• Hybridität<br />
• Die Nähe von unterschiedlichen<br />
Anwendungen ermöglichen<br />
• Die Nähe von OLTP und DWH muss machbar sein<br />
• Offenheit<br />
• Mit Standardmittel zugreifbare Daten (SQL)
Mittel im Oracle Data Warehouse<br />
• Automatismen<br />
• Berechnungen oder Aggregationen<br />
in Abhängigkeit von Schwellwerten<br />
und Events<br />
• Funktionen zu den Daten bringen<br />
• Daten so wenig wie möglich bewegen<br />
• In Database-Aktivitäten<br />
• Appliance-Lösungen (z. B. Exadata)<br />
• Flexibel skalieren können<br />
• Permanentes und planbares Wachstum<br />
• Schnell aktionsfähig sein<br />
• Hybridität<br />
• Die Nähe von unterschiedlichen<br />
Anwendungen ermöglichen<br />
• Die Nähe von OLTP und DWH muss machbar sein<br />
• Offenheit<br />
• Mit Standardmittel zugreifbare Daten (SQL)<br />
Automatisierte<br />
Kennzahlenstukturen<br />
InDatabase ETL<br />
InDatabase Analytics<br />
Exadata<br />
Oracle Marktführer<br />
In OLTP und DWH<br />
Klassisch offen
Die Oracle<br />
Data Warehouse<br />
Lösung
Data Integration<br />
Real Time & Batch<br />
Oracle Data Warehouse Architektur für<br />
unternehmensweites Datenmanagement<br />
Any<br />
Source<br />
BI Server<br />
Data Integration<br />
Layer<br />
Enterprise Information Layer<br />
Data Management Concept<br />
Operational Data Layer<br />
Data Quality Rules Checks&Monitoring<br />
Information Layer Architecture Concept<br />
Reference Data Models<br />
InDatabase<br />
Dynamic Data Marts<br />
User View Layer<br />
InDatabase<br />
ROLAP<br />
InDatabase<br />
MOLAP<br />
InDatabase<br />
R Data Mining<br />
BI Apps<br />
Controlling<br />
HR<br />
Sales<br />
Interactive<br />
Dashboards<br />
Reporting &<br />
Publishing<br />
Ad-hoc<br />
Analysis<br />
DWH Logistic Utilities<br />
Oracle Database Management System<br />
Big Data Solution<br />
Metadata<br />
Utilities<br />
Business<br />
Catalogue<br />
Technical<br />
Auditing<br />
Marketing<br />
Financial<br />
Scorecards<br />
noSQL<br />
Oracle Database Management System<br />
Server Server Cluster Operating<br />
System<br />
Cluster<br />
Optimized Network<br />
Hadoop<br />
Storage<br />
Hierarchy<br />
Optimiertes Netzwerk<br />
Exadata / Database Machine / Exalytics<br />
Big Data<br />
Appliance<br />
Exadata<br />
Exalytics<br />
Lifecycle Management Concept<br />
DWH System Monitoring Utilities<br />
DWH Security Utilities<br />
DWH Backup / Recovery Concept<br />
Concept Framework<br />
Office<br />
Integration<br />
Mobile
Oracle Produkt-Komponenten<br />
Data Warehouse / BigData<br />
Oracle EE<br />
OLAP<br />
InMemory DB Cache<br />
AD Comp<br />
Partitioning<br />
Advanced Analytics<br />
Label Sec<br />
RAC (8)<br />
Diagnostic+Tuning<br />
Spatial<br />
Data Integration<br />
NoSQL EE<br />
BigData Connectors<br />
BigData Appliance<br />
Exadata /DBM<br />
Business Intelligence
In-Database Analytics<br />
Engineered Systems<br />
Oracle Big Data<br />
Appliance<br />
Optimized for Hadoop,<br />
R, and NoSQL Processing<br />
Oracle<br />
Big Data<br />
Connectors<br />
Oracle<br />
Exadata<br />
“System of Record”<br />
Optimized for DW/OLTP<br />
Oracle<br />
Exalytics<br />
Optimized for<br />
Analytics & In-Memory Workloads<br />
Hadoop<br />
Open Source R<br />
Oracle NoSQL<br />
Database<br />
Applications<br />
Oracle Big<br />
Data<br />
Connectors<br />
Oracle Data<br />
Integrator<br />
Oracle<br />
Advanced<br />
Analytics<br />
(R + Data<br />
Mining)<br />
Data<br />
Warehouse<br />
Oracle<br />
Database<br />
Oracle Enterprise<br />
Performance Management<br />
Oracle Business Intelligence<br />
Applications<br />
Oracle Business Intelligence<br />
Tools<br />
Oracle Endeca Information<br />
Discovery<br />
Stream Acquire Organize Discover & Analyze
Beispiele
T r a n s a k t I o n e n<br />
Beispiel: Kundenberatung einer Bank<br />
Zentralität und integrierte Sicht<br />
Database-<br />
Marketing<br />
K o n t a k t d a t e n<br />
Angebotsanfragen<br />
Partnerdaten<br />
Sparen<br />
Giro<br />
Transfers<br />
Depot<br />
Hypotheken<br />
Kredite
Optimierung von Prozessen<br />
Referenzdaten aus dem DWH für operative Entscheidungen<br />
• Optimierung der Routen<br />
für Service-Techniker<br />
• Optimierung von<br />
Wartungsaktivitäten<br />
• Standort-Optimierung<br />
• 120.000 Automaten<br />
• Über Chipkarten an das<br />
DWH angeschlossen<br />
• Vergleichsdaten<br />
• Historiendaten<br />
• Zentrale Statistiken
Der „optimale“ Verbrecher<br />
Tat und Täter-Profile aus dem Data Warehouse<br />
Tathergänge<br />
Motive<br />
Waffen<br />
Zeiten<br />
Orte<br />
Opfer<br />
Data Warehouse<br />
mit allen jemals<br />
stattgefundenen<br />
Ausprägungen<br />
Profile typischer<br />
Straftaten<br />
Wie sieht das<br />
wahrscheinliche<br />
Täterprofil aus?<br />
Personen<br />
Bei 8 gleichen Merkmalen sieht ein<br />
unbekanntes neuntes und zehntes Merkmal<br />
zu X Prozent SO und SO aus.
Beispiel: Telekommunikationsanbieter<br />
Unbemerkt im Hintergrund<br />
Call-Center-Steuerung<br />
• Messung der Performance von Teams<br />
• Kapazitätsverwaltung<br />
• Systemübergreifende Auskunft für<br />
Kundenaufträge<br />
Steuerung Innen- Aussendienst<br />
(Netz- und Montage)<br />
• Messung der Performance von Teams<br />
• Vergleichswerte zur Orientierung<br />
Betriebsüberwachung IT<br />
• Automatisierte Steuerung von<br />
Abläufen mit Hilfe von daten aus dem<br />
Warehouse<br />
Prämierung von Partnern<br />
• Mit Hilfe von historischen Daten<br />
aus dem Data Warehouse<br />
Datenaktualität < 2 h<br />
Zugriffszeiten < 3 Sek.<br />
Nutzdaten ~ 50 TB<br />
Auskunft für<br />
Call Center<br />
Auskunft<br />
Self Service<br />
Proaktive<br />
Information E-Mail<br />
Proaktive<br />
Information SMS<br />
Auskünft für<br />
Kundenberater<br />
vor Ort
Payback GmbH
PAYBACK Global Campaign<br />
System Overview
Integriertes Kampagnenmanagement<br />
bei Payback<br />
• Maßgeschneiderte Multichannel Kampagnen<br />
• Genaue Kunden-Kenntnis, daher sehr starke Personalisierung<br />
möglich<br />
• Täglicher Abgleich aller OLTP-Daten sowie zusätzlicher<br />
Quellen<br />
• Zielgruppenspezifische Ausspielung im DWH<br />
• Allein in Deutschland über 20 Millionen Personen<br />
• Berücksichtigung von n100 bis zu 1000 Merkmalen pro Kunde<br />
• Ermittlung von Zielgruppen<br />
• Bereitstellung von zielgruppenspezifischen Coupons für Kampagnen<br />
• In 2012 über 5 Milliarden Coupons (3,8 Mrd. eCoupons, 1,4 Mrd Prints)
Der technische Hintergrund<br />
• Der gesamte Konsolidierung, Segmentierung<br />
und Kampagnen-Steuerung findet täglich statt<br />
• Komplette Tagesverarbeitung in weniger<br />
als 8 Stunden<br />
• Zusätzliches Einspielen von Batch-Läufen<br />
mit mehreren Mrd. Sätzen läuft parallel<br />
• Ohne eine Exadata X2 (Half Rack) wäre die<br />
Verareitung in einem 24 Stunden – Fenster<br />
nicht möglich
Oracle Database Machine X2-2<br />
Oracle Database Server Grid<br />
• 8 compute servers<br />
• 96 Intel Cores (gesamt)<br />
(Six-Core Intel X5670, 2,93 GHz)<br />
• 768 GB DRAM (gesamt)<br />
• Jeder Server<br />
• 2x10Gb Ethernet Port<br />
• 4x1Gb Ethernet Port<br />
• 4x300 GB SAS Disks<br />
InfiniBand Network<br />
• 40 Gb/sec unified server and<br />
storage network<br />
• Fault Tolerant<br />
Enterprise Linux<br />
Exadata Storage Server Grid<br />
• 14 storage servers<br />
168 Platten / 112 Intel Cores<br />
• 100 TB raw SAS disk storage<br />
or<br />
336 TB raw SATA disk storage<br />
• 5,3TB flash storage!<br />
25 GB / Sec IO – Datendurchsatz<br />
50 GB / IO für Flash-Speicher<br />
29
Anwendung: Punkteübersicht<br />
Social Media:<br />
○ 630.000 Facebook Fans<br />
Newsletter:<br />
○ 4 Mio. Auflage<br />
○ > 500 Mio p.a.<br />
Punkteübersicht:<br />
○Auflage 62 Mio.<br />
○12 x p.a.<br />
○Bis zu 13 Mio. Auflage<br />
○ pro Versand<br />
○ > 95% Öffnungsrate<br />
Printmailings und Beileger:<br />
○ Auflage 70 Mio.<br />
○ Individuell gestaltbar<br />
○ Verschiedene Formate<br />
Points of Sale:<br />
○ 37.000 Partnerfilialen<br />
○ Terminals für die Kunden<br />
(Punkteübersicht und Gutscheinein<br />
payback.de:<br />
○ 550 Mio.<br />
Seitenaufrufe<br />
Coupons:<br />
○ 5,2 Mrd. Coupons, davon…<br />
○ 3,8 Mrd. digital<br />
○ 1,4 Mrd. Print<br />
PAYBACK Ap<br />
○ > 1 Mio. Downloa<br />
○ iPhone & Android<br />
○ Mobile Couponin<br />
○ Mobile Services<br />
Zahlen GJ 2012<br />
Online Offline Mobile
Anwendung: Punkteübersicht<br />
• Bis zu 13 Millionen Briefsendungen<br />
• Angereichert mit Material (z. B. Coupons) zu den verschiedenen<br />
Kampagnen<br />
• Aufwendiger Prozess<br />
• Segmentierung, Selektion, Konfektion, Print etc.<br />
• Ursprüngliche Dauer bis zu 3 Wochen + Sicherheitszeitpuffer von 3<br />
Wochen<br />
• Nur quartalsweise machbar -> eingeschränkte Kampagnenschlagzahl<br />
• Nach Exadata – Einführung<br />
• Reduzierung Prozesslaufzeit auf weniger als 5 Tage<br />
• Ausweitung der Punkteübersichts-Briefe auf 12 mal im Jahr<br />
• Aufgrund der erhöhten Schlagzahl mehr und differenziertere<br />
Kampagnen machbar.
Change language