w26M2

direkt an Hive verbunden werden, indem Hive-Tabellen als
Pseudotabellen in der relationalen Datenbank angezeigt
und In-Memory verwendet werden.
Die Integration von relationalem OLAP mit Hive bietet die
folgenden Vorteile:
• kosteneffiziente Funktionalität für OLAP und
Data Mining für viele Abfrage-Werkzeuge und
BI-Anwendungen,
• Nutzung bestehenden Know-hows beim Aufbau großer
Cubes mit Milliarden von Datenzeilen,
Folgende Empfehlungen lassen sich aus der Praxis
ableiten:
• Vermeiden Sie traditionelle Datenbanken für Staging-
Zwecke. Schreiben Sie die Daten stattdessen in
Hadoop, und benutzen Sie dann Hive in Verbindung
mit direkten Abfragen und Sichten, um die Daten
der Analyse zugänglich zu machen. Dieser Ansatz
minimiert Latenzen und vermeidet Redundanz im
Warehouse. Er kombiniert die Vorteile von Hadoop für
Speicherung und Schreiboperationen, ohne den Komfort
des relationalen Daten-Zugriffs aufzugeben.
• Unterstützung für Ad-hoc-Abfragen zum Beispiel aus
Excel zur Untersuchung der Klout-Algorithmen,
• optimale Leistung für große Datenmengen, weniger
als 10 Sekunden Antwortzeit für 1 Billion Datenzeilen,
• nutzerfreundliche Darstellung des Cube mit Metrik
und Dimensionen. Der Cube versteckt die Komplexität
sowohl von SQL als auch von Hadoop für den
Fachanwender.
• Nutzen Sie das Interface für Direktabfragen Ihrer
Datenbank für heterogene Joints. Damit können
Abfragen an verbundene Server weitergereicht werden
und HiveQL Abfragen als Pseudo-Tabellen in ihrer
relationalen Datenbank dargestellt werden. Pseudotabellen
aus verschiedenen Datenquellen können dann
zu Sichten kombiniert werden.
• Nutzen Sie benutzerdefinierte Funktionen (UDF) in
Hive, um komplexe Datentypen wie zum Beispiel
JSON in Zeilen und Spalten zu konvertieren, die SQL
versteht. Durch Hive UDF kann fast jeder unstrukturierte
Datentyp in HiveQL gewandelt und der Analyse
bereitgestellt werden.
• Spezifizieren Sie die Hive UDF als permanent, um sie
von verschiedenen relationalen Abfragen nutzen zu
lassen.
• Verwalten Sie große Dimensionen in Hive-Sichten.
Um Speicherplatz und Rechenzeit zu sparen, nutzen
Sie nur die für die Analyse benötigten Attribute. Wenn
Sie über Hive-Sichten die Fakten in den Faktentabellen
verlinken, können Sie Dimensionen effizienter
limitieren und gleichzeitig Faktentabellen effizienter
partitionieren.
• Belassen Sie Hive-Objekte im Standardschema.
Sie behalten damit die größtmögliche Flexibilität bei
der Auswahl der Abfrage Werkzeuge.
72