Projektgruppe Business Intelligence Applications and Evaluation ...

Projektbericht Cuberunner
Smart Wind Farm Control – Dokumentation
4 Zusammenführen 1-4 Merge
Join
5 Nummerierung entfernen
Select /
Rename
values
anschließenden Merge Join auszuführen.
Zusammenführung aller Datensätze anhand des
zuvor generierten Timestamp auf eine Datenbasis.
Löschung der Timestamp Duplikate, sodass nur
noch ein Timestamp vorhanden ist.
6 Sortieren Final Sort rows Erneute Sortierung der Datensätze anhand des
Timestamp, dieses dient als Sicherheit um Fehler
in den Folgeschritten auf Grund einer fehlerhaften
Sortierung zu vermeiden.
7 Null / 0 Filter Filter
rows
Löschung der kompletten Datensätze, welche Null
oder 0 Werte enthalten. Die Filterung erfolgt auf
Basis von Bedingungen bspw.: (Windrichtung
CONTAINS [NA] OR Windrichtung = [0])
Alle Werte, welche diese Bedingung nicht erfüllen,
werden an Vorgang 9 weitergegeben und sonst
an Vorgang 8.
8 Papierkorb Dummy Dient als Dummy um die zuvor gefilterten Null
oder 0 Werte aufzunehmen bzw. zu löschen.
9 Tabelle erweitern Add
constant
values
10 Nummerierung Final Get Value
From
Sequence
11 Anlagen ID Setzen Replace in
String
12 Datei Output Text file
output
Pentaho Data Integration CE – Job
Erweiterung der Datensätze um alle aktuell im
Datenmodell enthaltene Attribute bspw. Anlagen_ID,
Blatteinstellwinkel. Diese Werte werden
mit dem Wert 0 gefüllt, somit enthalten die Datensätze
nach dem späteren Import in das SAP
HANA System keine Null Werte. Eventuelle Fehler
durch Null Werte in z.B. Reports werden damit
im Vorfeld vermieden.
Finale inkrementelle Nummerierung der Datensätze.
Setzen der aktuellen Anlagen_ID in allen Datenzeilen,
diese wird der Umgebungsvariable ${sensor}
entnommen.
Export der Daten in eine Textdatei. Die einzelnen
Werte werden dabei durch Semikolons getrennt.
Tabelle 3.11: Erläuterung der Transformationskette
Insbesondere die große Datenmenge führte zu einer langen Bearbeitungszeit der beschriebenen Transformationskette
je WEA. Um diese auch unbeaufsichtigt durchzuführen, ist ein Job angelegt worden,
mit dessen Hilfe alle Transformationen hintereinander ausgeführt werden können, (siehe Abbildung
3.5). Die dort aufgeführten Transformationen rufen jeweils die beschriebene Transformationskette auf
und übergeben die zu transformierende WEA Nummer, in diesem Fall die Nummern 1 bis 12. Weiterhin
werden insgesamt drei E-Mails über den aktuellen Status des Jobs an die hinterlegte E-Mailadresse
versendet.
475