w26M2

Big-Data-Technologien – Wissen für Entscheider
• 6.2 In-Memory Computing
In-Memory Computing umfasst eine Anzahl von
Technologien, die sich in unterschiedlichen Big-Data-
Komponenten wiederfinden. Durch die Verlagerung der
Datenverarbeitung von der Festplatte in den Rechner-
Hauptspeicher (In-Memory) können Big-Data-Visualisierungen,
-Analysen oder-Transaktionen massiv beschleunigt
werden. Somit kann der geschäftliche Mehrwert
schneller erbracht werden.
Historische Einordnung
Der Begriff In-Memory beschreibt ein Konzept, bei dem
die Daten nicht – wie bei Systemen zur Verarbeitung
von großen Datenmengen üblich – auf der Festplatte
gespeichert und verarbeitet werden, sondern im Hauptspeicher.
Dies hat den Vorteil, dass Zugriffe auf die
Daten wesentlich schneller sind als bei althergebrachten
Herangehensweisen.
Die Verarbeitung der Daten im Hauptspeicher ist, historisch
gesehen, die einzige Art, da die klassische Von-
Neumann-Architektur keine Festplatten kannte. In dieser
Urform des Computers gab es nur den einen Speicher, den
(Haupt-) Speicher. Musste ein Programm Daten verarbeiten,
so griff es direkt auf die Stelle im Speicher zu, an der
die Daten abgespeichert waren. Der Speicher erlaubt also
Zugriffe auf jede Speicherstelle in beliebiger Reihenfolge,
daher auch der Begriff Random Access Memory (RAM).
Bei sehr großen Datenmengen kommt eine reine
hauptspeicherbasierte Herangehensweise jedoch schnell
an ihre Grenzen, da der Speicher üblicherweise für den
ganzen Datensatz nicht ausreicht. Ein gangbarer Weg
ist, nur Teile des Datensatzes in den Hauptspeicher zu
laden und diese unabhängig voneinander zu verarbeiten.
Dies können, wie zum Beispiel bei Datenbanken üblich,
blockbasierte Verfahren sein oder im Fall von analytischen
Berechnungen spezielle Big-Data-Algorithmen. Der
Vorteil dabei ist, dass die Größe der zu verarbeitenden
Daten nicht mehr durch den Hauptspeicher begrenzt ist,
sondern annähernd beliebig groß werden kann. Der Nachteil
ist jedoch, dass die Performance aus zwei Gründen
drastisch sinkt:
• einerseits, weil der Zugriff auf sekundäre Speichermedien
deutlich langsamer ist als auf den Hauptspeicher
und
• andererseits, weil nicht die schnellsten Algorithmen
eingesetzt werden, sondern die, die am besten mit
Datenblöcken umgehen können.
In den letzten Jahren sind die Preise für Hauptspeicher
kontinuierlich gesunken, gleichzeitig ist die Leistungsfähigkeit
der eingesetzten Netzwerkkomponenten enorm
angestiegen, genauso wie das Know-how über die Verteilung
von Berechnungen. Zusammen eröffneten diese
Entwicklungen die Möglichkeit, große Datenmengen,
verteilt auf mehrere Rechnerknoten, im Hauptspeicher zu
verarbeiten.
Typen von In-Memory Datenhaltung
In-Memory spielt im Big-Data-Umfeld eine besondere
Rolle, da erst durch den schnellen Zugriff auf die Daten
typische Big-Data-Herangehensweisen möglich werden.
So erfordert zum Beispiel ein explanatives Vorgehen
Zugriffszeiten, die ein Benutzer noch als akzeptabel empfindet.
Dabei gibt es unterschiedliche Typen und Szenarien
für den Einsatz von In-Memory-Technologien.
Die ausschließliche In-Memory-Verarbeitung der Daten
hat aber auch Nachteile. So ist es, trotz sinkender Hauptspeicherpreise,
immer noch sehr teuer, alle Daten im RAM
zu halten, und außerdem sind die Daten im flüchtigen
Hauptspeicher nicht notwendigerweise vor einem Systemausfall
geschützt. Dafür müssten sie auf der persistenten
Festplatte liegen. In der Praxis haben sich daher
unterschiedliche In-Memory-Varianten entwickelt. Neben
den reinen In-Memory-Systemen gibt es unterschiedliche
Grade an Hybrid-Systemen.
Bei den In-Memory-Systemen haben sich zwei Herangehensweisen
herauskristallisiert:
• die reinen In-Memory-Systeme (z. B. In-Memory
Datenbanken und Data-Grids):
Sie speichern alle Daten im Hauptspeichern und nutzen
die Festplatte nur als persistenten Speicher (z. B.
um die Ausfallsicherheit zu erhöhen).
127