DWH-und-KDD--VL-18 - Informationssysteme - Universität Oldenburg

Data Warehousing und
Knowledge Discovery in Databases
Klassifikation VII
Wintersemester 2003/2004
18
Frank Köster
Universität Oldenburg
Fachbereich Informatik
Abteilung Informationssysteme
Escherweg 2
26121 Oldenburg
eMail: Frank.Koester@Informatik.Uni-Oldenburg.de
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de
18

GLIEDERUNG FÜR HEUTE …
→ Organisatorisches
→ Einleitung – Data Warehousing und Knowledge Discovery in Databases
→ Data Warehousing: erste Anschauung, Begriffe und Historie …
→ Knowledge Discovery in Databases: Grundlagen und Begriffe …
→ DWS-Referenzarchitektur
→ DWS-Entwicklungsprozess
– sehr kurz (eine Folie!)
→ Multidimensionales Datenmodell
→ Extraktion • Transformation • Laden
→ Metadaten und Datenqualität
Data Warehousing
→ Konzepte temporaler Datenbanken im DWS-Kontext (Arne Harren – OFFIS)
→ Überleitung zum Knowledge Discovery in Databases I & II
→ Exploration von Daten
→ KDD-Prozesse
→ Data Mining – Grundlagen
→ Segmentierung I & II
→ Klassifikation I, II, III, IV, V, VI & VII
→ Entscheidungsbäume
→ Regelmengen
→ Modellqualität
→ Bayes-Klassifikation
→ Neuronale Netze I & II
Knowledge Discovery in Databases
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 2
18

KLASSIFIKATION VII …
Was wird uns in dieser Vorlesung begegnen … ?
Ziele
Was ist Lernen?
Klassifikation
I,II, III, IV, V, VI &
VII
Anwendungsbeispiel
Grundlegendes
(Wiederholung)
Entscheidungsbäume
Regelmengen
künstliche
Neuronale Netze II
Lernen
Modellqualität
Bayes-Klassifikation
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 3
18

DATA MINING
Fragestellungen, Aufgaben & Methoden
Geschäftsprozess-Analyse und Fragestellung Zieldefinition und Modellwahl Modellparametrisierung und Modellanwendung
Analyse sachlicher Verbundbeziehungen
bei
Transaktionen – z.B.: Welche
Produkte werden im Zusammenhang
gekauft?
Einteilung in homogene
Gruppen – z.B.: Zusammenfassung
von Kunden mit
ähnlichem Einkaufsverhalten.
Profilierung, Modellierung
und Regeldefinition –z.B.:
Beurteilung von Kundenverhalten.
Vorhersage im Sinne der
Ergänzung von fehlender
Merkmalswerte – z.B.:
Vorhersage des Kundenverhaltens.
Assoziationsanalyse
Segmentierung
Klassifikation
Prognose
Abweichungsanalyse
Zeitreihenanalyse
Entscheidungsbäume
Regelmengen
Bayes Klassiifikation
künstliche Neuronale Netze
k-nearest neighbor
Fuzzy-Datenanalyse
Evolutionäre Algorithmen
Numerische Vorhersagen –
Regression
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 4
18

KLASSIFIKATION VII …
Was wird uns in dieser Vorlesung begegnen … ?
Ziele
Was ist Lernen?
Klassifikation
I,II, III, IV, V, VI &
VII
Anwendungsbeispiel
Grundlegendes
(Wiederholung)
Entscheidungsbäume
Regelmengen
künstliche
Neuronale Netze II
Lernen
Modellqualität
Bayes-Klassifikation
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 5
18

DATA MINING
Künstliche Neuronale Netze – Grundlegendes I/V
→ Künstliche Neuronale Netze (kNN) stellen eine Möglichkeit dar,
auch komplizierte Funktionen auf der Grundlage recht einfacher (dafür
meist sehr vieler und hochgradig vernetzter) Basis-Einheiten zu
realisieren.
→ Diese Darstellungen können anhand von Beispielen trainiert werden.
→ Vorbild für kNN sind biologische Neuronale Netze (bNN)
a i
ii n-1
ii n-2
wi n
wi n+1
wi n+2
wi n-1
wi n-2
Σ
z
S(z)
oi
ii n
ii n+1
ii n+2
b
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 6
18

DATA MINING
Künstliche Neuronale Netze – Grundlegendes II/V
→ Beispiele
Binäre Ausgabefkt., Stufenfkt. oder
auch Schwellenwertfkt.
Sigmoide Ausgabefkt., Quetschfkt. oder
auch Sigma-Fkt.
Begrenzt Lineare Fkt., Rampenfkt. bzw.
lineariesierte Stufenfkt.
→ Weitere Beispiele
→ Lineare Schwellenwertfunktion
→ Lineare Ausgangsfunktion
→ Stochastische Ausgangsfunktion
→ Wettbewerbs-Ausgangsfunktion
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 7
18

DATA MINING
Künstliche Neuronale Netze – Grundlegendes III/V
→ Organisation in Layern
→ Input-Layer
→ Hidden-layer (einer oder mehrere)
→ Output-Layer
Input-Layer Hidden-Layer Output-Layer
→ Gewichtsmatrix
2 1
0.2
1.5
1.5
1.0
1.5
1.5
5 4 3
1.2
0.3
1.1
0.4
1.0
8 7 6
1
2
3
4
5
6
7
1
2
3
1,5
0,2
4
1,5
1,5
5
1,5
1,0
6
1,2
0,3
7
1,1
0,4
8
1,0
8
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 8
18

DATA MINING
Künstliche Neuronale Netze – Grundlegendes IV/V
→ Ein kNN stellt einen gerichteten Graphen dar
→ Die Kanten des Graphen sind zudem gewichtet und repräsentieren unterschiedlich
starke Verbindungen zwischen den Neuronen des kNN
→ Die Matrix zur Spezifikation der Verbindungen der Neuronen eines kNN
untereinander wird als Gewichtsmatrix bezeichnet
→ Meist werden die folgenden Topologien unterschieden …
→ Feedforward-Netze (ff-Netze)
→ ff-Netze 1. und 2. Ordnung
→ Feedback-Netze (fb-Netze) – rekurrente Netze
→ fb-Netze mit direkten Feedback
→ fb-Netze mit indirektem Feedback
→ fb-Netze mit Lateralverbindungen
→ fb-Netze mit vollständiger Vermaschung
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 9
18

DATA MINING
Künstliche Neuronale Netze – Grundlegendes V/V
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 10
18
→ Topologien – Übersicht
ff-Netze 2. Ordnung
fb-Netze mit
indirektem Feedback
fb-Netze mit
vollständiger Vermaschung
ff-Netze 1. Ordnung
fb-Netze mit
direktem Feedback
fb-Netze mit
lateralen Verbindungen

DATA MINING
Künstliche Neuronale Netze – Lernen i.Allg. I/III
→ Eine Lernregel ist eine Vorschrift, nach der ein kNN lernt
→ Das Lernziel besteht gerade darin, für eine vorgegebene Eingabe eine
gewünschte/passende Ausgabe zu erzeugen.
→ Das Lernen erfolgt in Neuronalen Netzen dadurch, dass die Verbindungsgewichte
solange geändert werden, bis das gewünschte Ausgangsmuster
vom kNN generiert wird.
→ Neben der Modifikation der Verbindungsgewichte basieren Lernstrategien
gelegentlich auch auf dem Aufbauen und Löschen (bzw.
Ausblenden) von Verbindungen und Neuronen sowie auf der Veränderung
von Parametern innerhalb des Neurons.
→ Prinzipiell wird nach überwachtem und unüberwachtem Lernen unterschieden
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 11
18

DATA MINING
Künstliche Neuronale Netze – Lernen i.Allg. II/III
→ Überwachtes Lernen (supervised learning)
→ Es wird ein Testvektor x p an den Eingang des kNN gelegt und
dessen Ausgangsvektor y mit dem korrespondierenden Sollvektor
s p der Testdaten verglichen.
→ Unter Verwendung der Lernregeln erfolgt mit dem Differenzvektor
e=s-y die Bestimmung der Gewichtsänderungen ∆w.
→ Dieser Vorgang wird solange wiederholt, bis e hinreichend bzw.
wie gewünscht klein ist.
Testdaten
(x p
,s p
)
s
x
Lernregel
e
+
∆w
w + ∆w
kNN
-y
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 12
18

DATA MINING
Künstliche Neuronale Netze – Lernen i.Allg. III/III
→ Unüberwachtes Lernen (unsupervised learning)
→ Beim unüberwachten Lernen erfolgt keine Konditionierung des
kNN durch Minimierung des Antwortfehlers.
→ Die Trainingsmenge besteht nur aus einer geringen Zahl von
Mustervektoren. Der Lernalgorithmus versucht einen beliebigen
Vektor einem der Mustervektoren zuzuordnen zu dem die größte
Ähnlichkeit besteht.
→ Nach Anlegen des zu klassifizierenden an die Eingänge des kNN
werden die Neuronengewichte iterativ solange verändert, bis ein
stabiler Zustand erreicht wird, der dann mit dem Mustervektor
übereinstimmt, der ihm am ähnlichsten ist.
→ Ziel dieses Verfahrens ist es eine Gruppenbildung (Cluster) ähnlicher
Vektoren (Muster) zu erreichen.
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 13
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen I/VIII
→ Hebb‘sches Lernen I/II
→ Die Hebb‘ sche Lernregel geht auf D. Hebb zurück. Sie basiert auf
der Theorie, dass das die Funktion assoziativer Speichern in biologischen
Systemen auf Prozessen basiert, welche die neuronalen
Verbindungen zwischen den Nervenzellen verändern.
→ Dieses Ende der 1940er Jahre formulierte Prinzip lässt sich auf
einschichtige künstliche Neuronale Netze folgendermaßen anwenden:
Wenn zwei miteinander verbundene Neuronen n i und n j zur gleichen
Zeit aktiv sind, so wird die Gewichtung ihrer Verbindung mit
verstärkt.
∆w ij = η·a i·o j
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 14
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen II/VIII
→ Hebb‘sches Lernen II/II
→ Hierin ist ∆w ij die Veränderung des Verbindungsgewichtes von
Neuron n i zu Neuron n j , a i die Aktivierung von Neuron n j , o i die
Ausgabe von Neuron n i und η die Lernrate, die in geeigneter
Weise einzustellen ist.
→ Die Lernrate η bestimmt das Maß der Änderung des Verbindungsgewichts
für einen Lernschritt.
→ Die Hebb‘sche Lernregel erhalten wir, wenn in Abweichung vom
neurophysiologischen Vorbild die tatsächlichen Ausgabewerte o j
durch die Sollwerte s j ersetzt werden. Da ein einschichtiges kNN
vorausgesetzt ist, lassen sich die Neuroneneingangswerte a i
durch die Netzeingangswerte x i substituieren.
∆w ij = η·x i·s j
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 15
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen III/VIII
→ Hebb‘sches Lernen – Beispiel I/V
→ In der folgenden Beispielanwendung sollen mit der Hebb‘schen
Lernregel die folgenden drei Ein-/Ausgabemuster gelernt
werden:
(x,s) = ( [+1,-1,+1,-1,+1,-1] , [+1,+1,-1,-1] )
(x,s) = ( [+1,+1,+1,-1,-1,-1] , [+1,-1,+1,-1] )
(x,s) = ( [-1,-1,+1,+1,-1,-1] , [+1,-1,-1,+1] )
i=0 i=5
Verbindungsgewichte w ij
j=0 j=3
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 16
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen IV/VIII
→ Hebb‘sches Lernen – Beispiel II/V
→ 1. Musterpaar:
[+1,-1,+1,-1,+1,-1]
i=0 i=5
j=0 j=3
w ij = 0; η = 1
+1 -1 +1 -1 +1
+1 -1 +1 -1 +1
∆w ij = η·x i·s j
-1 +1 -1 +1 -1 +1
w ij ⇐ ∆w ij + w ij
-1
+1
-1
+1
-1
-1
-1
+1
[+1,+1,-1,-1]
-1
+1 -1 +1 -1 +1 -1
+1
+1 -1 +1 -1 +1 -1
-1
-1 +1 -1 +1 -1 +1
+1
-1 +1 -1 +1 -1 +1
-1
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 17
+1
a j
o j
+6
+1
+6
+1
-6
-1
-6
-1
= ⇒ f out (a j ,Θ j ) =
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen V/VIII
→ Hebb‘sches Lernen – Beispiel III/V
→ 2. Musterpaar:
[+1,+1,+1,-1,-1,-1]
i=0 i=5
j=0 j=3
+1 -1 +1 -1 +1 -1
+1 -1 +1 -1 +1 -1
-1 +1 -1 +1 -1 +1
∆w ij = η·x i·s j
-1 +1 -1 +1 -1 +1
w ij ⇐ ∆w ij + w ij
+
+1 +1 +1 -1 -1 -1
-1 -1 -1 +1 +1 +1
+1 +1 +1 -1 -1 -1
-1 -1 -1 +1 +1 +1
[+1,-1,+1,-1]
+1
+2 0 +2 -2 0 -2
+1
0 -2 0 0 +2 0
-1
0 +2 0 0 -2 0
-1
-2 0 -2 +2 0 +2
-1
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 18
+1
a j
+6
+1
-4
-1
+4
+1
-8
-1
= ⇒ f out (a j ,Θ j ) =
o j
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen VI/VIII
→ Hebb‘sches Lernen – Beispiel IV/V
→ 3. Musterpaar:
[-1,-1,+1,+1,-1,-1]
i=0 i=5
j=0 j=3
[+1,-1,-1,+1]
+1
+1
+1
-3
-1
-1
+3
-1
+3
-1
-1
-1
-1
-1
-1
+3
-1
+3
-1
-1
-3
+1
+1
+1
∆w ij = η·x i·s j
w ij ⇐ ∆w ij + w ij
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 19
-1
-1
+1
+1
-1
-1
+2
-1
+1
+1
-1
-1
+1
+1
-1
a j
+6
+1
-6
-1
-6
-1
+6
+1
= ⇒ f out (a j ,Θ j ) =
0
0
-2
0
-2
+2
0
+2
0
0
-2
0
0
0
+2
-2
-2
0
0
+2
-2 +2 0
o j
+
+1 +1 -1 -1
-1 -1 +1 +1
-1 -1 +1 +1
+1 +1 -1 -1
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen VII/VIII
→ Hebb‘sches Lernen – Beispiel V/V
→ Prüfen des 1. und 2. Musterpaars:
1.
+1
+1
+1
-3
-1
-1
+3
-1
+3
-1
-1
-1
-1
-1
-1
+3
-1
+3
-1
-1
-3
+1
+1
+1
+1
-1
+1
-1
+1
-1
a j
o j
+8
+1
+4
+1
-4
-1
-8
-1
= ⇒ f out (a j ,Θ j ) =
2.
+1
+1
+1
-3
-1
-1
+3
-1
+3
-1
-1
-1
-1
-1
-1
+3
-1
+3
-1
-1
-3
+1
+1
+1
+1
+1
+1
-1
-1
-1
a j
o j
+8
+1
-4
-1
+4
+1
-8
-1
= ⇒ f out (a j ,Θ j ) =
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 20
18

DATA MINING
Künstliche Neuronale Netze – Überwachtes Lernen VIII/VIII
→ Delta-Lernregel
→ Die von Widrow & Hoff entwickelte Delta-Lernregel ist für einstufige
ff-Netze geeignet. Sie arbeitet nach dem folgenden
Prinzip:
→ Wird zur Trainingszeit eine Abweichung
d j = s j -o j
zwischen der Ziel- und der Sollausgabe eines Netzes festgestellt,
so werden die Verbindungsgewichte zwischen
den Neuronen n i und n j nach der Regel
∆w ij = η·o j ·d j
iterativ in Richtung des Sollwertes geändert.
→ Der Algorithmus terminiert, wenn die Differenz d j ein
lokales Minimum erreicht.
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 21
18

LITERATUR
M. Ester & J. Sander (2000). Knowledge Discovery in Databases – Techniken und
Anwendungen. Springer-Verlag.
J. Han & M. Kamber (2000). Data Mining: Concepts and Techniques. Morgan
Kaufmann.
N. Hoffmann (1993). Neuronale Netze – kleines Handbuch. Vieweg Verlag.
H. Ritter, T. Martinetz & K. Schulten (1991). Neuronale Netze – eine Einführung in
die Neuroinformatik selbstorganisierender Netzwerke. 2. Auflage, Addison-
Wesley.
I.H. Witten & E. Frank (2001). Data Mining – Praktische Werkzeuge und Techniken
für das maschinelle Lernen. Hanser.
Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 22
18

Dr. Frank Köster · Universität Oldenburg · Department für Informatik · Abteilung Informationssysteme · Escherweg 2 · 26121 Oldenburg · eMail: Frank.Koester@Informatik.Uni-Oldenburg.de 23
18