Dokument 1 - RWTH Aachen University

5.1 Stand der Praxis und Forschung 91
3. Aufgabe der statistischen Prozesskontrolle ist eine erste Plausibilitätsüberprüfung der Daten,
die ins DW integriert werden sollen. Meist werden dazu pro Feld statistische Kennwerte
wie Mittelwert und Varianz auf Grundlage des DW-Datenbestandes berechnet. Dadurch
ergeben sich Konfidenz-Intervalle für gültige Feldinhalte. Hierdurch können Ausreißer als
potentielle Datenfehler sehr früh im Transformationsprozess identifiziert werden.
4. Die domänenspezifische Konsistenzprüfung wendet zuvor formulierte Überprüfungen an,
um die Gültigkeit der zu integrierenden Daten sicherzustellen, z.B. Wenn-Dann-Regeln.
5. In der Phase Record Linkage werden unterschiedliche Tupel, die das gleiche Objekt der
realen Welt beschreiben, zueinander zugeordnet.
6. Das Merging verschmilzt die vorher zueinander zugeordneten Tupel miteinander. Beim
Record Linkage und Merging können auch bereits integrierte Daten aus dem Zielbereich
relevant sein.
7. Die Qualitätsmessung und -analyse misst bestimmte Qualitätsmerkmale der Daten. Dies
geschieht wie beim methodenbasierten Datenqualitätsmanagement von Helfert (siehe oben)
mit Hilfe von SQL-Anfragen, die einzelne numerische Werte zurückliefern müssen. Hinrichs
hat auch eine Reihe von Metriken für Qualitätskriterien wie z.B. Korrektheit, Konsistenz
und Genauigkeit entwickelt, mit der die Qualität der Daten beurteilt werden kann.
Die Metriken sind zwar für verschiedene Granularitätsebenen definiert, werden aber nur
auf Tupelebene ausgeführt.
8. Das in der vorherigen Phase ermittelte Ergebnis entscheidet darüber, ob ein Tupel in
den Zielbereich überführt, weiteren Verbesserungsmaßnahmen unterzogen oder abgelehnt
wird. Im Falle der Ablehnung ist die Ursache des Mangels festzustellen, und falls die Ursache
behoben werden konnte, eine erneute Integration beginnend mit Phase 1 zu versuchen.
Zur Qualitätsverbesserung schlägt Hinrichs Data-Mining-Verfahren vor, die aufgrund von
Regelmäßigkeiten in den Datenbeständen, Vorschläge zur Beseitigung des Mangels machen
können. Ein Tupel kann ebenfalls mit Nutzungsauflagen versehen werden, d.h. das
Tupel kann nicht für alle Arten von Analyseverfahren bzw. Datenabfragen genutzt werden.
9. Die Tupel, die die vorhergehenden Qualitätsprüfungen erfolgreich bestanden haben, werden
nun explizit freigegeben, eventuell findet noch eine Endkontrolle durch eine Person
statt, die sicherstellt, dass alle erforderliche Verarbeitungs- und Prüfschritte absolviert wurden.
10. Aus Gründen der Konformität zur ISO 9001-Norm muss ein bereits freigegebenes Datenprodukt,
falls es sich bei der Nutzung durch den „Kunden“ als qualitativ mangelhaft
erweist, zurückgenommen werden. Anschließend müssen ähnliche Methoden wie vorher
bei der Qualitätsverbesserung vorgenommen werden, d.h. Ursachensuche, Korrektur oder
Einschränkung der Nutzung.