Aufbau der Vorlesung Gliederung: Fuzzy Logik - CES
Aufbau der Vorlesung Gliederung: Fuzzy Logik - CES
Aufbau der Vorlesung Gliederung: Fuzzy Logik - CES
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
<strong>Aufbau</strong> <strong>der</strong> <strong>Vorlesung</strong><br />
1. Einführung<br />
2. Statistik<br />
3. Neuronale Netze<br />
4. <strong>Fuzzy</strong>-<strong>Logik</strong><br />
5. Machine Learning<br />
6. Werkzeuge<br />
University of California<br />
Intelligente Datenanalyse – F4.1 at Berkeley 1<br />
Glie<strong>der</strong>ung: <strong>Fuzzy</strong> <strong>Logik</strong><br />
• Grundlagen <strong>der</strong> <strong>Fuzzy</strong> <strong>Logik</strong><br />
• Unscharfe Regeln<br />
– Extraktion aus Neuronalen Netzen<br />
– Automatische Erzeugung<br />
• Funktionsapproximation mit <strong>Fuzzy</strong> Regeln<br />
University of California<br />
Intelligente Datenanalyse – F4.2 at Berkeley 2<br />
1
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Glie<strong>der</strong>ung: <strong>Fuzzy</strong> <strong>Logik</strong><br />
• Grundlagen <strong>der</strong> <strong>Fuzzy</strong> <strong>Logik</strong><br />
– Unscharfe Mengen und Zugehörigkeitsfunktionen<br />
– Verknüpfungen (und, o<strong>der</strong>)<br />
– <strong>Fuzzy</strong>-Regeln<br />
– <strong>Fuzzy</strong>-Inferenz<br />
– Funktionsapproximation mit <strong>Fuzzy</strong>-Regeln<br />
• Unscharfe Regeln<br />
• Funktionsapproximation mit <strong>Fuzzy</strong>-Regeln<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.3 at Berkeley 3<br />
Klassische Mengentheorie<br />
• zweiwertige, eindeutige Mengenzugehörigkeit<br />
• z. B.: x aus [50. 100]<br />
Zugehörigkeit<br />
μ(x)<br />
1<br />
0<br />
50<br />
100<br />
University of California<br />
Intelligente Datenanalyse – F4.4 at Berkeley 4<br />
x<br />
2
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
<strong>Fuzzy</strong>-Theorie<br />
<strong>Fuzzy</strong> Theorie (Zadeh Zadeh 1965)<br />
• Einführung unscharfer Mengen<br />
– keine eindeutige Mengenzugehörigkeit<br />
– z. B.: eine warme Temperatur<br />
Zugehörigkeit<br />
μ(x)<br />
1<br />
0<br />
Ein Element x gehört<br />
zur Menge A o<strong>der</strong> nicht:<br />
μ A (x)<br />
1<br />
0<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
μ(x)∈{0,1}<br />
A=“warm”<br />
50<br />
100<br />
University of California<br />
Intelligente Datenanalyse – F4.5 at Berkeley 5<br />
Vergleich<br />
x [Grad]<br />
Intelligente Datenanalyse – F4.6<br />
Ein Element x gehört zur<br />
Menge A mit einem<br />
Zugehörigkeitsgrad:<br />
μ(x)∈[0,1]<br />
μ A (x)<br />
1<br />
0<br />
x<br />
A=“warm”<br />
University of California<br />
at Berkeley<br />
x [Grad]<br />
3
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
μ(x)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Zugehörigkeitsfunktion<br />
Trapezoid: <br />
1<br />
0 a b c d<br />
Dreieck: <br />
μ(x)<br />
1<br />
0<br />
μ A (x)<br />
1<br />
α<br />
a b d<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x<br />
x<br />
μ(x)<br />
1<br />
0<br />
Intelligente Datenanalyse – F4.7<br />
Gauss: N(m,s)<br />
s<br />
m<br />
Singleton: (a,1) and (b,0.5)<br />
μ(x)<br />
1<br />
0 a b<br />
Zugehörigkeitsfunktion<br />
Kern: K A :={x | μ A (x)=1} = [b,c]<br />
0 a b c d<br />
Einflußbereich: E A :={x | μ A (x) > 0} = (a,d)<br />
x<br />
Intelligente Datenanalyse – F4.8<br />
University of California<br />
at Berkeley<br />
α-cut: α A :={x | μ A (x) = α}<br />
University of California<br />
at Berkeley<br />
x<br />
x<br />
4
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Linguistische Variable<br />
• Eine Linguistische Variable faßt mehrere <strong>Fuzzy</strong>-<br />
Mengen zusammen.<br />
z.B.: Temperatur = {kalt, mittel, warm}<br />
Zugehörigkeit<br />
μ(t)<br />
1<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
0<br />
Mittel Warm<br />
10 20 30<br />
40<br />
Temperatur t<br />
University of California<br />
Intelligente Datenanalyse – F4.9 at Berkeley 9<br />
Verknüpfungen (klassisch)<br />
• Vereinigung (log. ODER)<br />
x ∈ M1 ∪ M2 ⇔<br />
x ∈ M1 ∨ x ∈ M2 μ(x)<br />
M ∪ M<br />
1 2<br />
1<br />
0<br />
x<br />
• Durchschnitt (log. UND)<br />
x ∈ M1 ∩ M2 ⇔<br />
x ∈ M1 ∧ x ∈ M2 μ(x)<br />
M ∩<br />
M<br />
1 2<br />
1<br />
0<br />
University of California<br />
Intelligente Datenanalyse – F4.10 at Berkeley 10<br />
x<br />
5
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Verknüpfungen (fuzzy ( fuzzy)<br />
• Vereinigung • Durchschnitt<br />
μ(x)<br />
μ(x)<br />
1<br />
0<br />
μ(x)<br />
1<br />
0<br />
μ (x) = max( μ (x), μ (x))<br />
1+2 1 2<br />
μ (x) = μ (x) + μ (x)<br />
1+2 1 2<br />
drastische<br />
Summe<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x<br />
x<br />
1<br />
0<br />
μ(x)<br />
1<br />
0<br />
μ (x) = min( μ (x), μ (x))<br />
1·2 1 2<br />
μ (x) = μ (x) · μ (x)<br />
1·2 1 2<br />
University of California<br />
Intelligente Datenanalyse – F4.11 at Berkeley 11<br />
Spektrum an Verknüpfungen<br />
Durchschnitts-Operatoren<br />
t-Conormen t-Normen<br />
max min<br />
University of California<br />
Intelligente Datenanalyse – F4.12 at Berkeley 12<br />
x<br />
x<br />
drastisches<br />
Produkt<br />
6
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
0.5<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
<strong>Fuzzy</strong>-Regeln<br />
<strong>Fuzzy</strong> Regeln<br />
• Zusammenhänge lassen sich beschreiben mit<br />
Wenn-Dann-Regeln<br />
• Allgemeine Form:<br />
Wenn Prämisse dann Schlußfolgerung<br />
• Beispiel:<br />
Wenn Temperatur ist kalt<br />
Linguistische<br />
Werte<br />
und Menge ist groß<br />
dann Ventil ist ganz_auf<br />
1<br />
Linguistische Variablen<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.13 at Berkeley 13<br />
<strong>Fuzzy</strong>-Inferenz<br />
<strong>Fuzzy</strong> Inferenz<br />
1. Bestimme die Zugehörigkeit <strong>der</strong> Prämissen (T-Normen):<br />
0<br />
μ kalt (t)<br />
15 C<br />
t<br />
1<br />
0.3<br />
0<br />
μ billig (o)<br />
1.- DM/l<br />
Wenn Temperatur ist kalt ... und Öl ist billig ...<br />
} μ prämisse = 0.3<br />
University of California<br />
Intelligente Datenanalyse – F4.14 at Berkeley 14<br />
o<br />
7
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
<strong>Fuzzy</strong>-Inferenz<br />
<strong>Fuzzy</strong> Inferenz II<br />
2. Bestimme die Zugehörigkeitsfunktion <strong>der</strong> Ausgabe:<br />
...<br />
1<br />
μprämisse = 0.3<br />
0<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
μ auf (h)<br />
Intelligente Datenanalyse – F4.15<br />
h<br />
... dann Ventil ist auf<br />
Defuzzifizierung<br />
Intelligente Datenanalyse – F4.16<br />
μ Konsequenz (h)<br />
University of California<br />
at Berkeley<br />
3. Bestimme einen scharfen Wert aus <strong>der</strong> ZF <strong>der</strong> Ausgabe<br />
(zum Beispiel durch “Schwerpunkt-Methode (COG)”):<br />
1<br />
0<br />
48<br />
73<br />
μ Konsequenz (h)<br />
h<br />
COG<br />
University of California<br />
at Berkeley<br />
8
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
0.7<br />
0.2<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
<strong>Fuzzy</strong> Entscheidung<br />
Fuzzifizierung Inferenz Defuzzifizierung<br />
μ kalt μ warm μ heiß<br />
gemessene<br />
Temperatur<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
t<br />
Regelbasis<br />
Wenn Temp ist kalt<br />
dann ventil ist auf<br />
μ kalt =0.7<br />
Wenn Temp ist warm<br />
dann Ventil ist halb<br />
μ warm =0.2<br />
Wenn Temp ist heiß<br />
dann Ventil ist zu<br />
μ heiß =0.0<br />
Intelligente Datenanalyse – F4.17<br />
0.7<br />
0.2<br />
μ auf μ halb μ zu<br />
scharfer Wert<br />
für das Ventil<br />
University of California<br />
at Berkeley<br />
<strong>Fuzzy</strong>-System<br />
<strong>Fuzzy</strong> System als universeller<br />
Approximator<br />
• Ein <strong>Fuzzy</strong>-System beruhe auf den folgenden<br />
Beziehungen:<br />
n<br />
∏<br />
1≤<br />
j<br />
( )<br />
i<br />
i<br />
μ = μ Drastisches Produkt für UND-Verknüpfung<br />
y<br />
j j x<br />
∑<br />
μ<br />
K i i<br />
y<br />
i=<br />
1<br />
= f ( x)<br />
= K i<br />
∑ μ i=<br />
1<br />
Schwerpunktmethode bei <strong>der</strong><br />
Auswertung<br />
i: Index über die Regeln i=1,2,...K<br />
j: Index über Dimension <strong>der</strong> Eingabe j=1,2,...n<br />
y i : höchster Wert einer Regel i<br />
University of California<br />
Intelligente Datenanalyse – F4.18 at Berkeley 18<br />
v<br />
9
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
<strong>Fuzzy</strong>-System<br />
<strong>Fuzzy</strong> System als Approximator<br />
• Die Regel i habe die Form:<br />
Wenn x 1 in RG 1 i und x2 in RG 2 i ...<br />
dann y is RG 0 i<br />
mit RG j i als Region <strong>der</strong> j-ten Dimension <strong>der</strong> Regel i<br />
• Es kann bewiesen werden, daß dieses <strong>Fuzzy</strong>-<br />
System ein universeller Approximator auf einer<br />
kompakten Menge Q ist.<br />
n<br />
[ a b ] × [ a , b ] × ×<br />
[ a b ] R<br />
Q = , ⊂<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
1,<br />
1 2 2<br />
n<br />
n<br />
University of California<br />
Intelligente Datenanalyse – F4.19 at Berkeley 19<br />
<strong>Fuzzy</strong>-System<br />
<strong>Fuzzy</strong> System als Approximator<br />
y<br />
X2<br />
X1<br />
University of California<br />
Intelligente Datenanalyse – F4.20 at Berkeley 20<br />
10
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
<strong>Fuzzy</strong>-System<br />
<strong>Fuzzy</strong> System als Approximator<br />
• Beweis mit Stone-Weierstrass Theorem:<br />
Sei F eine Algebra aus realen, kontinuierlichen Funktionen auf einer<br />
kompakten Menge Q. Wenn F Punkte aus Q trennt, und wenn F an<br />
keinen Punkt von Q Null ist, dann besteht die gleichgradig<br />
abgeschlossene Funktionsmenge B über F aus allen realen,<br />
kontinuierlichen Funktionen auf Q.<br />
Die gleichgradig abgeschlossene Funktionsmenge B über F ist die<br />
Vereinigung von F mit ihren Grenzpunkten. Wenn also B aus allen<br />
realen kontinuierlichen Funktionen über Q besteht, dann kann mit F<br />
jede reale kontinuierliche Funktion mit beliebiger Genauigkeit<br />
approximiert werden.<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.21 at Berkeley 21<br />
<strong>Fuzzy</strong>-System<br />
<strong>Fuzzy</strong> System als Approximator<br />
Das heißt jede Funktion über Q läßt sich beliebig<br />
genau approximieren, wenn das <strong>Fuzzy</strong>-System<br />
folgende Bedingungen erfüllt:<br />
• Die Regionen <strong>der</strong> Ein- und Ausgabe sind frei wählbar<br />
• Die Zugehörigkeitsfunktionen über den Regionen sind<br />
beliebige kontinuierliche Funktionen mit <strong>der</strong> Bedingung,<br />
i<br />
daß sie innerhalb <strong>der</strong> Region nicht Null wird. μ<br />
j ( x j ) ≠ 0<br />
• Alle denkbaren Regeln können für alle Regionen <strong>der</strong><br />
Ausgabe aufgestellt werden.<br />
University of California<br />
Intelligente Datenanalyse – F4.22 at Berkeley 22<br />
11
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
<strong>Fuzzy</strong>-Regeln<br />
<strong>Fuzzy</strong> Regeln zur Datenanalyse<br />
• Eigenschaften:<br />
– Die Flanken <strong>der</strong> Zugehörigkeitsfunktionen ermöglichen<br />
die Berücksichtigung von verrauschten Daten<br />
– Zugehörigkeitsfunktionen können Datenpunkte gut<br />
zusammenfassen<br />
– Leicht verständliches Ergebnis<br />
• Problemstellung:<br />
– Wie kommt man von den Daten zu den Regeln?<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.23 at Berkeley 23<br />
Überdeckung des Eingaberaums<br />
gitterbasiert/global regionenbasiert/lokal<br />
University of California<br />
Intelligente Datenanalyse – F4.24 at Berkeley 24<br />
12
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Regelbasierte <strong>Fuzzy</strong>-Systeme<br />
<strong>Fuzzy</strong> Systeme (RFS)<br />
Nach Surmann lassen sich RFS durch ein 6-Tupel (LV, R, T,<br />
I, T*, DE) beschreiben:<br />
1. einer Menge LV von n linguistischen Eingangs- und einer<br />
Ausgangsvariablen<br />
2. einer Menge R von k unscharfen Regeln<br />
3. einer T-Norm T, mit <strong>der</strong> die Teilprämissen <strong>der</strong> Regeln<br />
ausgewertet werden,<br />
4. einer Implikationsstrategie I,<br />
5. einer T-CO-Norm T*, mit <strong>der</strong> die Ausgangsmengen <strong>der</strong><br />
Regeln verknüpft werden, und<br />
6. einem Defuzzifizierungsverfahren DE.<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.25 at Berkeley 25<br />
Beispiel<br />
• Mamdani<br />
RFSmam = (LV, R, MIN, MIN, MAX, COG)<br />
– Zugehörigkeitsfunktionen symmetrisch und dreieckig<br />
– Bestimmung <strong>der</strong> Teilprämissen und einer Regel durch<br />
Minimum<br />
– Zugehörigkeit zur Ausgabe bei mehreren Regeln über<br />
Maximum<br />
– Center of Gravity zur Defuzzifizierung<br />
University of California<br />
Intelligente Datenanalyse – F4.26 at Berkeley 26<br />
13
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Freiheitsgrade bei <strong>Fuzzy</strong>-Regeln<br />
<strong>Fuzzy</strong> Regeln<br />
1. Linguistischen Eingangs- und Ausgangsvariablen LV und<br />
<strong>der</strong>en Zugehörigkeitsfunktionen<br />
– Einflußbereich<br />
– Anzahl<br />
– Form<br />
2. Menge von unscharfen Regeln R<br />
3. T-Norm T<br />
4. Implikationsstrategie I,<br />
5. T-CO-Norm T*<br />
6. Defuzzifizierungsverfahren DE.<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
• Gitterbasiert<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.27 at Berkeley 27<br />
Klassifikation <strong>der</strong> Verfahren<br />
– klassischer Ansatz (Wang & Mendel ‘92)<br />
– Erweiterung (Higgins & Goodman ‘93)<br />
– NEFCLASS (Nauck & Kruse ‘92)<br />
• Finetuning Regelbasis<br />
– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />
– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />
• Regionenbasiert<br />
– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />
– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />
University of California<br />
Intelligente Datenanalyse – F4.28 at Berkeley 28<br />
14
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
• Gitterbasiert<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Klassifikation <strong>der</strong> Verfahren<br />
– klassischer Ansatz (Wang & Mendel ‘92)<br />
– Erweiterung (Higgins & Goodman ‘93)<br />
– NEFCLASS (Nauck & Kruse ‘92)<br />
• Finetuning Regelbasis<br />
– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />
– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />
• Regionenbasiert<br />
– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />
– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.29 at Berkeley 29<br />
<strong>Fuzzy</strong>-Regelextraktion<br />
<strong>Fuzzy</strong> Regelextraktion aus Daten<br />
• Ausgangspunkt: numerische Daten <strong>der</strong> Form<br />
x 1 (1) , x2 (1) , ... y (1)<br />
x 1 (2) , x2 (2) , ... y (2)<br />
mit f:(x 1, x 2, ...) -> y<br />
evtl. sind Regeln aus Expertenwissen bereits<br />
bekannt.<br />
University of California<br />
Intelligente Datenanalyse – F4.30 at Berkeley 30<br />
15
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Regelextraktion - 1.Schritt<br />
• Für jedes Merkmal den Wertebereich bestimmen<br />
und in 2m+1 Regionen für ZF einteilen.<br />
• Zugehörigkeitsfunktionen auswählen (i. R.<br />
Dreiecke)<br />
Dieses Vorgehen ist sehr willkürlich. Oft werden<br />
Anhaltspunkte, wie Häufigkeit von Datenpunkten<br />
im Bereich o<strong>der</strong> Vorwissen verwendet.<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.31 at Berkeley 31<br />
Regelextraktion - 2. Schritt<br />
• Erzeugung <strong>der</strong> <strong>Fuzzy</strong>-Regeln<br />
– Bestimme die Zugehörigkeit eines Datensatzes zu den<br />
Regionen<br />
– Wähle die Region mit dem höchsten<br />
Zugehörigkeitswert<br />
– Erzeuge daraus eine Regel<br />
Beispiel:<br />
(x (i)<br />
1 , x2<br />
(i) , y (i) ) =><br />
x (i)<br />
1 /0,8 in PB; x2<br />
(i) /0,7 in PS; y (i) /0,9 in ZR =><br />
Regel (i): IF x1 is PB AND x2 is PS THEN y is ZR<br />
University of California<br />
Intelligente Datenanalyse – F4.32 at Berkeley 32<br />
16
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Regelextraktion - 2. Schritt<br />
• Je<strong>der</strong> Datensatz wird zu einer Regel.<br />
• Die Regeln enthalten jeweils alle Parameter<br />
• Bei <strong>der</strong> Regelerzeugung geht Information aus den<br />
Daten verloren, da nur die hohen<br />
Zugehörigkeitswerte Berücksichtigung finden.<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.33 at Berkeley 33<br />
Regelextraktion - 3. Schritt<br />
• Je<strong>der</strong> Regel wird eine Bewertung D zugeordnet<br />
z. B.: Produktstrategie:<br />
D Regel i = μ A(x 1)*μ B(x 2) ... *μ Z(y)<br />
hier: 0,8 * 0,7 * 0,9 = 0,504<br />
• Nun läßt sich die Anzahl <strong>der</strong> Regeln verringern,<br />
indem Regeln mit gleicher Prämisse zu einer<br />
Regel mit neuer Bewertung werden.<br />
z. B.: D neu = Max (D 1, D 5, D 6, D 15)<br />
University of California<br />
Intelligente Datenanalyse – F4.34 at Berkeley 34<br />
17
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Regelextraktion 4. Schritt<br />
• Kombiniere extrahierte Regeln mit Expertenregeln<br />
in einer Matrix<br />
• Beispiel für 2 Dimensionen:<br />
x1<br />
x2<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
NB NS ZR PS PB<br />
PB NB/0,3 NB/0,1 - ZR/0,8 PS/0,3<br />
PS - NS/0,5 NS/0,4 ZR/0,7 PB/0,8<br />
ZR - NS/0,6 PS/1 - NS/0<br />
NS PS/0,9 ZR/0,3 ZR/0,8 PS/0,9 PB/0,9<br />
NB PB/0,9 PS/0,5 PS/1 PB/0,7 -<br />
University of California<br />
Intelligente Datenanalyse – F4.35 at Berkeley 35<br />
Regelextraktion 4. Schritt<br />
• UND-Verknüpfung: 1 Feld<br />
• ODER-Verknüpfung: 1 Zeile o<strong>der</strong> Spalte<br />
• Bei gleichen Regeln: Maximaler Wert<br />
• Nachteil: Großer Speicherbedarf bei<br />
hochdimensionalen Problemen<br />
University of California<br />
Intelligente Datenanalyse – F4.36 at Berkeley 36<br />
18
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Regelextraktion 5. Schritt<br />
• Ein-/Ausgabe-Abbildung (Defuzzifizierung) durch<br />
Schwerpunktmethode<br />
μ(y)<br />
1<br />
0<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
y<br />
y<br />
K i<br />
∑ μ i=<br />
1 O<br />
i<br />
∑ μ i<br />
O<br />
= K<br />
i=<br />
1<br />
University of California<br />
Intelligente Datenanalyse – F4.37 at Berkeley 37<br />
i y<br />
K: Anz. Regeln in Matrix<br />
o i : Name einer Zugehörigkeitsfkt.<br />
y i : höchster Wert von o i<br />
Bewertung <strong>der</strong> Regelextraktion<br />
+ Beliebige Anzahl von Ein-/Ausgaben möglich<br />
+ nur ein Trainingsdurchlauf notwendig<br />
+ kein Modell erfor<strong>der</strong>lich<br />
- hoher Speicherbedarf<br />
- die Zugehörigkeitsfunktionen sind vorgegeben<br />
- Originaldaten und Ergebnisse aus Regeln können<br />
stark abweichen<br />
- Rauschen nicht berücksichtigt<br />
University of California<br />
Intelligente Datenanalyse – F4.38 at Berkeley 38<br />
i<br />
19
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Weiterentwicklung<br />
• Higgins & Goodman:<br />
– Beginne mit wenigen Zugehörigkeitsfunktionen<br />
– Wende Wang & Mendel - Ansatz an<br />
– Prüfe die Approximation auf den Trainingsdaten<br />
– Füge an Stellen mit großem Fehler eine neue ZF ein<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x x<br />
University of California<br />
Intelligente Datenanalyse – F4.39 at Berkeley 39<br />
NEFCLASS<br />
• Neuro <strong>Fuzzy</strong> Classification<br />
• Ziel: <strong>Fuzzy</strong>-Regeln aus einer Datenmenge, die<br />
sich in Klassen einteilen lässt<br />
• Abbildung von <strong>Fuzzy</strong>-Regeln auf Neuronen<br />
• Abbildung von Zugehörigkeitsfunktionen auf<br />
Gewichte<br />
• Gelernt werden die Regeln und die Parameter <strong>der</strong><br />
Zugehörigkeitsfunktionen<br />
University of California<br />
Intelligente Datenanalyse – F4.40 at Berkeley 40<br />
20
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
NEFCLASS (2)<br />
Erfahrung: Regeln sind besser durch <strong>Fuzzy</strong>-Clustering<br />
Verfahren zu bestimmen<br />
1. Durchlauf:<br />
– Erzeugen von Neuronen durch Finden <strong>der</strong><br />
Kombinationen von ZFkt mit den höchsten<br />
Zugehörigkeitswerten für ein Datum.<br />
– Gibt es eine solche Regel nicht, wird eine neue erzeugt.<br />
Nur die besten k Regeln werden danach zu Neuronen.<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.41 at Berkeley 41<br />
NEFCLASS (3)<br />
• 2. Durchlauf: Lernen <strong>der</strong> Parameter <strong>der</strong><br />
Zugehörigkeitsfkt. (nur Dreiecke erlaubt)<br />
• Idee: Bündeln von Verbindungen für gleiche<br />
Zugehörigkeitsfunktionen erlaubt das spätere<br />
Anwenden von linguistischen Variablen.<br />
• Lernen durch modifiziertes Backpropagation (ein<br />
Gewicht hat drei Parameter)<br />
University of California<br />
Intelligente Datenanalyse – F4.42 at Berkeley 42<br />
21
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
NEFCLASS-Netzwerk<br />
NEFCLASS Netzwerk<br />
R1 R2 R3 R4 R5<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
z<br />
x y<br />
Klein<br />
Mittel<br />
Groß<br />
University of California<br />
Intelligente Datenanalyse – F4.43 at Berkeley 43<br />
Bewertung von NEFCLASS<br />
+ Neuronales Netz läßt sich als <strong>Fuzzy</strong>-Regeln interpretieren<br />
+ Modifiziertes Back-Propagation als Lernverfahren<br />
+ gemeinsame Ausrichtung <strong>der</strong> Gewichte führt zur<br />
Anwendbarkeit von Linguistischen Variablen<br />
– Die Klassifikationsleistung ist jedoch nicht so gut, wie bei<br />
anspruchsvollen <strong>Fuzzy</strong>-Clustering Verfahren<br />
– Die Vorgabe von Zugehörigkeitsfkt. ist für Clustering<br />
notwendig<br />
– In den Regeln sind zunächst alle Eingabeparameter aufgeführt.<br />
– Nach dem Optimieren <strong>der</strong> Zugehörigkeitsfkt. können starke<br />
Überlappungen die Interpretation erschweren.<br />
University of California<br />
Intelligente Datenanalyse – F4.44 at Berkeley 44<br />
22
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Regeln nach Durchlauf 1:<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Beispiel: Iris-Daten Iris Daten<br />
IF V 1 is small and V 2 is medium and V 3 is small and V 4 is small THEN Cl. 1<br />
IF V 1 is large and V 2 is medium and V 3 is medium and V 4 is medium THEN Cl. 2<br />
IF V 1 is small and V 2 is small and V 3 is medium and V 4 is medium THEN Cl. 2<br />
IF V 1 is medium and V 2 is medium and V 3 is large and V 4 is large THEN Cl. 3<br />
IF V 1 is medium and V 2 is small and V 3 is large and V 4 is large THEN Cl. 3<br />
IF V 1 is large and V 2 is small and V 3 is large and V 4 is large THEN Cl. 3<br />
IF V 1 is large and V 2 is medium and V 3 is large and V 4 is large THEN Cl. 3<br />
V1 = Kelchblattlänge in cm V2 = Kelchblattbreite in cm<br />
V3 = Blumenblattlänge in cm V4 = Blumenblattbreite in cm<br />
Cl.1 = Iris Setosa Cl.2= Iris Versicolour Cl. 3= Iris Virginica<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.45 at Berkeley 45<br />
Ergebnisse von NEFCLASS<br />
University of California<br />
Intelligente Datenanalyse – F4.46 at Berkeley 46<br />
23
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
• Gitterbasiert<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Klassifikation <strong>der</strong> Verfahren<br />
– klassischer Ansatz (Wang & Mendel ‘92)<br />
– Erweiterung (Higgins & Goodman ‘93)<br />
– NEFCLASS (Nauck & Kruse ‘92)<br />
• Finetuning Regelbasis<br />
– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />
– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />
• Regionenbasiert<br />
– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />
– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.47 at Berkeley 47<br />
<strong>Fuzzy</strong>-MLP <strong>Fuzzy</strong> MLP<br />
• Idee: Ersetze die „Gewichtete Summe“ und<br />
„Sigmoidfunktion“ durch „t-norm“ und „tconorm“<br />
für „UND“ und „ODER“<br />
• Die Und-O<strong>der</strong>-Struktur des Netzes erlaubt die<br />
Interpretation als Regeln<br />
• Lernverfahren: Backpropagation<br />
• t-norm: min, product (ab)<br />
• t-conorm: max, probabilistic sum (a+b-ab)<br />
• Eingabe: Zugehörigkeit zu Zugerhörigkeitsfkt.<br />
University of California<br />
Intelligente Datenanalyse – F4.48 at Berkeley 48<br />
24
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
OR<br />
AND<br />
<strong>Fuzzy</strong>-MLP <strong>Fuzzy</strong> MLP<br />
Ausgaben<br />
Yi Eingaben<br />
University of California<br />
Intelligente Datenanalyse – F4.49 at Berkeley 49<br />
X j<br />
W ji<br />
Bewertung von Regeln<br />
• Wichtig, um bei großen Regelmengen die<br />
wichtigsten herauszufinden.<br />
• Als Auswahlverfahren ermöglicht es „Extraktion<br />
von Regeln aus Daten“<br />
• Vorgegeben: beliebige Regelmenge,<br />
Zugehörigkeitsfkt. und t-norm bzw. t-conorm<br />
• Gesucht: Wahrheitsmaß je<strong>der</strong> Regel<br />
University of California<br />
Intelligente Datenanalyse – F4.50 at Berkeley 50<br />
25
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Möglichkeit<br />
Π(t)<br />
Zugehörigkeit<br />
μ(t)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Beispiel für Bewertung (1)<br />
1<br />
0°<br />
Πk alt<br />
Πh eiß<br />
Heiß<br />
40° 60° 100°<br />
e e Temperatur t<br />
1 2 e3 University of California<br />
Intelligente Datenanalyse – F4.51 at Berkeley 51<br />
Glaubwürdigkeit-Plausibilität<br />
Glaubwürdigkeit Plausibilität<br />
• Plausibilität: Addiere alle Möglichkeiten, daß e j zu<br />
Zfkt. A gehört und dividiere (normiere) durch die<br />
Anzahl <strong>der</strong> Beispiele h.<br />
University of California<br />
Intelligente Datenanalyse – F4.52 at Berkeley 52<br />
26
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
Glaubwürdigkeit-Plausibilität<br />
Glaubwürdigkeit Plausibilität<br />
• Glaubwürdigkeit: Berechnung aus <strong>der</strong> Häufigkeit<br />
<strong>der</strong> Gegenbeispiele (Komplementmenge)<br />
• Maß zur Bewertung als Intervall [g h(A), f h(A)]<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.53 at Berkeley 53<br />
Beispiel für Bewertung (2)<br />
University of California<br />
Intelligente Datenanalyse – F4.54 at Berkeley 54<br />
27
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Erweiterung 1: mehr Dimensionen<br />
* steht hierbei für eine t-norm<br />
Zur besseren Lesbarkeit wird folgende Vereinfachung gemacht<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.55 at Berkeley 55<br />
Erweiterung 2: Bedingte Häufigkeit<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.56 at Berkeley 56<br />
28
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Beispiel für Bewertung (3)<br />
100% <strong>der</strong> Beispiele<br />
repräsentieren die Regel gut<br />
15% <strong>der</strong> Beispiele passen<br />
besser zu an<strong>der</strong>en Regeln<br />
University of California<br />
Intelligente Datenanalyse – F4.57 at Berkeley 57<br />
Beispiel: Stop-and Stop and-Go Go Regler (1)<br />
• Ziel: Automatisches Gaspedal für Stop-and-Go<br />
Verkehr<br />
• Verfahren: Lernen aus Beispielfahrten<br />
hier: Auswahl von Regeln durch Bewertung<br />
• Daten: Abstand und Relativgeschwindigkeit zum<br />
Vor<strong>der</strong>mann<br />
University of California<br />
Intelligente Datenanalyse – F4.58 at Berkeley 58<br />
29
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Beispiel: Stop-and Stop and-Go Go Regler (2)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
23 Regeln wurden ausgewählt<br />
und beschreiben solche<br />
Reglerkennlinien:<br />
University of California<br />
Intelligente Datenanalyse – F4.59 at Berkeley 59<br />
Beispiel: Stop-and Stop and-Go Go Regler (3)<br />
Erst im zweiten Anlauf<br />
arbeitete <strong>der</strong> Regler gut.<br />
Zugehörigkeitsfunktionen<br />
wurden verän<strong>der</strong>t.<br />
Expertenregeln wurden<br />
hinzugefügt.<br />
University of California<br />
Intelligente Datenanalyse – F4.60 at Berkeley 60<br />
30
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
• Gitterbasiert<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Klassifikation <strong>der</strong> Verfahren<br />
– klassischer Ansatz (Wang & Mendel ‘92)<br />
– Erweiterung (Higgins & Goodman ‘93)<br />
– NEFCLASS (Nauck & Kruse ‘92)<br />
• Finetuning Regelbasis<br />
– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />
– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />
• Regionenbasiert<br />
– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />
– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.61 at Berkeley 61<br />
Aktivierungs-/Inhibitions<br />
Aktivierungs /Inhibitions-Rechtecke Rechtecke<br />
• Abe & Lan ‘95<br />
– Quantisierung <strong>der</strong> Ausgaben (keine Granularisierung)<br />
– Bilde Aktivierungs-Hyperrechtecke<br />
– Werden Daten an<strong>der</strong>er Klassen überdeckt, bilde<br />
Inhibitionsrechteck usw.<br />
– Wenn X in Akt.HR A und X nicht in Inh.HR B<br />
dann Intervall I<br />
University of California<br />
Intelligente Datenanalyse – F4.62 at Berkeley 62<br />
31
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Aktivierungs-/Inhibitions<br />
Aktivierungs /Inhibitions-Rechtecke Rechtecke (2)<br />
• Beispiel<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x<br />
x<br />
x<br />
x<br />
o x o<br />
A 2<br />
A 1<br />
University of California<br />
Intelligente Datenanalyse – F4.63 at Berkeley 63<br />
RecBF und <strong>Fuzzy</strong> Graph<br />
• Berthold & Huber ‘95<br />
• Historie: entstanden aus dem DDA<br />
• Idee: Regionen lokal & rund -> lokal & rechteckig<br />
• Eigenschaften<br />
– rechteckförmig -> interpretierbar<br />
– flexible Größe -> paßt sich an Daten an<br />
– Innerer (Kern) und äußerer (Einfluss) Bereich<br />
• Algorithmus<br />
– konstruktiv<br />
– schnell<br />
University of California<br />
Intelligente Datenanalyse – F4.64 at Berkeley 64<br />
I 2<br />
I 1<br />
32
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
DDA-RBF DDA RBF RecBF<br />
• Idee: Rechteckige lokale Bereiche <strong>der</strong> Neuronen<br />
Aktivierung<br />
Distanz y<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Gauß’sche<br />
Glocke<br />
Distanz<br />
Distanz x<br />
Aktivierung<br />
Distanz<br />
Distanz y Einflußbereich<br />
Kernbereich<br />
Distanz x<br />
- nicht im Raster<br />
+ unendliche<br />
Ausdehnung<br />
möglich<br />
University of California<br />
Intelligente Datenanalyse – F4.65 at Berkeley 65<br />
Rechteckige Basisfunktion RecBF<br />
Einflußbereich<br />
Kernbereich<br />
-<br />
Λ 1<br />
-<br />
λ 1<br />
+<br />
λ 1<br />
+<br />
Λ 1<br />
+<br />
λ 2<br />
-<br />
λ 2<br />
+<br />
Λ 2<br />
-<br />
Λ 2<br />
Bei RBF gab es nur den Radius σ<br />
Neue Konfliktvermeidungsstrategie ist notwendig<br />
University of California<br />
Intelligente Datenanalyse – F4.66 at Berkeley 66<br />
33
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
RecBF - Regelextraktion<br />
Kern und Einflußbereich im ℜ m<br />
Wennx1 in [a1, b1 ] ⊆ (c1, d1, )<br />
Und xn in Kernn ⊆ Einflußb.<br />
DannKlasse K = [ay, by ] ⊆ (cy, dy )<br />
Regeln = Explizites (lokales) Wissen über<br />
Zusammenhänge, Parametereinfluß und Empfindlichkeit<br />
• Algorithmus<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.67 at Berkeley 67<br />
RecBFN<br />
– Überdeckung (covered)<br />
– Einfügung (commit)<br />
– Verkleinern (shrink)<br />
• Klassifikationsregionen<br />
– lokal<br />
– rechteckförmig und achsenparallel -> Regeln<br />
extrahierbar<br />
– Bereich zwischen Klassen interpretierbar<br />
University of California<br />
Intelligente Datenanalyse – F4.68 at Berkeley 68<br />
34
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Algorithmus<br />
Iteriere, bis alle Trainingsmuster korrekt klassifiziert sind:<br />
Für jedes zu klassifizierende Muster:<br />
Falls Datum<br />
im Kern <strong>der</strong> korrekten Klasse (covered):<br />
NOP<br />
im Einflußbereich <strong>der</strong> korrekten Klasse (commit):<br />
Vergrößere Kernbereich<br />
nicht korrekt klassifiziert (shrink):<br />
Lege neues “Neuron” an und mache<br />
Konfliktauflösung<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.69 at Berkeley 69<br />
Algorithmus<br />
• Während einer Epoche, dem einmaligen Anlegen aller<br />
Beispieldaten, wird für jeden Vektor X geprüft:<br />
– covered: Falls X im Einflußbereich einer bereits existierenden<br />
RecBF liegt und mit ihrer Klasse übereinstimmt, wird diese RecBF<br />
soweit vergrößert, daß ihr Kern den Vektor abdeckt.<br />
– commit: Wenn X nicht im Einflußbereich eines vorh. RecBFs <strong>der</strong><br />
entsprechenden Klasse liegt, wird ein neues RecBF eingefügt.<br />
– shrink: Steht X in Konflikt mit einer RecBF, d.h. die Klasse des<br />
Vektors und <strong>der</strong> RecBF stimmen nicht überein und <strong>der</strong> Vektor<br />
verursacht eine Aktivierung <strong>der</strong> RecBF > 0. Der Einflußbereich<br />
<strong>der</strong> RecBF muß soweit verringert werden, daß <strong>der</strong> Vektor nach<br />
Verkleinerung außerhalb liegt und die Aktivierung <strong>der</strong> RecBF für<br />
diesen Trainingsvektor gleich 0 ist.<br />
University of California<br />
Intelligente Datenanalyse – F4.70 at Berkeley 70<br />
35
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
x 2<br />
1<br />
Konfliktvermeidung bei RecBF<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Heuristik:<br />
Wähle möglichst großes<br />
Volumen des<br />
Einflußbereiches<br />
Ausnahme: Einflußbereich<br />
wird zu schmal<br />
University of California<br />
Intelligente Datenanalyse – F4.71 at Berkeley 71<br />
Beispiel<br />
x 1<br />
x 2<br />
1<br />
x<br />
x x<br />
University of California<br />
Intelligente Datenanalyse – F4.72 at Berkeley 72<br />
x 1<br />
36
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
d 2<br />
c 2<br />
b 2<br />
x 2<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x<br />
x x<br />
x<br />
x<br />
b 1<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
x 2<br />
1<br />
Beispiel<br />
x<br />
x x o<br />
University of California<br />
Intelligente Datenanalyse – F4.73 at Berkeley 73<br />
Beispiel -> > Regelextraktion<br />
o<br />
x<br />
c 1 d 1<br />
o<br />
o<br />
o<br />
x 1<br />
University of California<br />
Intelligente Datenanalyse – F4.74 at Berkeley 74<br />
x 1<br />
Regeln können direkt<br />
ausgegeben werden, z.B.:<br />
Wenn x 1 in < -, b 1 , c 1, d 1><br />
und x 2 in < -, b 2 , c 2 , d 2 ><br />
dann Klasse X<br />
Wenn x 1 > d 1 dann Klasse O<br />
(verkürzt dargestellt)<br />
37
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
5.1 3.5 1.4 0.2 1 0 0<br />
4.9 3.0 1.4 0.2 1 0 0<br />
4.7 3.2 1.3 0.2 1 0 0<br />
4.6 3.1 1.5 0.2 1 0 0<br />
7.0 3.2 4.7 1.4 0 1 0<br />
6.4 3.2 4.5 1.5 0 1 0<br />
6.9 3.1 4.9 1.5 0 1 0<br />
6.3 2.9 5.6 1.8 0 0 1<br />
.....<br />
RecBF:<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Irisdaten mit RecBF<br />
150 Datensätze<br />
4 Merkmale<br />
Kelchblattlänge, Kelchblattbreite,<br />
Blumenblattlänge, Blumenblattbreite<br />
3 Klassen<br />
Iris Setosa, Iris Versicolour, Iris Virginica<br />
– 8 Regeln gefunden, z.B.:<br />
– Wenn Blumenblattlänge in [1.2, 1.9] Dann Klasse Setosa<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.75 at Berkeley 75<br />
Iris-Daten Iris Daten mit RecBF<br />
University of California<br />
Intelligente Datenanalyse – F4.76 at Berkeley 76<br />
38
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Bewertung von DDA-RecBF<br />
DDA RecBF<br />
+ Interpretierbares “Neuronales Netz”<br />
+ schnelles Lernverfahren<br />
+ Erzeugung von verständlichen <strong>Fuzzy</strong>-Regeln<br />
+ nicht alle Eingabedimensionen sind in <strong>der</strong> Regel<br />
aufgeführt<br />
– nur Klassifikation, keine Funktionsapproximation<br />
– Anzahl <strong>der</strong> Regeln kann groß werden<br />
– keine linguistischen Variablen<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.77 at Berkeley 77<br />
Approximation mit RecBF<br />
• endlich viele Klassen<br />
=> unendlich viele kontinuierliche Ausgabewerte<br />
(a, b, c) -> (0.44, 0.8, 1.3, 99.2)<br />
• Klassifikation -> Approximation<br />
• Idee: Ausgabewerte auf “unscharfe Klassen” abbilden<br />
(Fuzzifizierung), dann RecBF-Algo nutzen<br />
• Bereich zwischen den Regeln zur Interpolation nutzbar<br />
=> regionenbasierter Ansatz<br />
University of California<br />
Intelligente Datenanalyse – F4.78 at Berkeley 78<br />
39
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Vom RecBF zu <strong>Fuzzy</strong> Graphen<br />
• <strong>Fuzzy</strong> Graph<br />
– lokal<br />
– kompakt<br />
– Regeln extrahierbar<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
• <strong>Fuzzy</strong>-Punkt:<br />
• Zugehörigkeit:<br />
University of California<br />
Intelligente Datenanalyse – F4.79 at Berkeley 79<br />
<strong>Fuzzy</strong>-Punkt<br />
<strong>Fuzzy</strong> Punkt<br />
μ ∧∧μ 1 i<br />
m j<br />
i { m } j m<br />
μ( x ,..., x ) = min μ ( x ),..., μ ( x )<br />
1 m<br />
1 1<br />
Kern<br />
Einflußbereich<br />
University of California<br />
Intelligente Datenanalyse – F4.80 at Berkeley 80<br />
40
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
• Beispiel<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
<strong>Fuzzy</strong> Graph<br />
University of California<br />
Intelligente Datenanalyse – F4.81 at Berkeley 81<br />
Vorgehen<br />
• Eingabe: Beispieldaten (von Modellauswertungen)<br />
Unscharfe Klassen <strong>der</strong> Zielgröße<br />
• Ausgabe:Menge von <strong>Fuzzy</strong>-Regeln (<strong>Fuzzy</strong>-Graph)<br />
University of California<br />
Intelligente Datenanalyse – F4.82 at Berkeley 82<br />
41
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Approximation<br />
• Gegeben: X = (x1, x2, ...., xm) • Gesucht: f<strong>Fuzzy</strong>-Graph(X) = ?<br />
1. Bestimme Zugehörigkeit für alle <strong>Fuzzy</strong>-Punkte:<br />
i { m } j m<br />
μ( x ,..., x ) = min μ ( x ),..., μ ( x )<br />
k<br />
1 m<br />
1 1<br />
2. Bestimme Zugehörigkeit zu einer Klasse:<br />
{ k }<br />
μ ( x ,..., x ) = max μ ( X),..., μ ( X)<br />
1 m 1<br />
r<br />
3. Wende Defuzzifizierung an.<br />
• Beispiel<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.83 at Berkeley 83<br />
Approximation<br />
University of California<br />
Intelligente Datenanalyse – F4.84 at Berkeley 84<br />
42
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Umgang mit verrauschten Daten<br />
• Beispiele mit verschieden Rauschniveaus:<br />
[-0.5, 0.5] [-2, 2]<br />
University of California<br />
Intelligente Datenanalyse – F4.85 at Berkeley 85<br />
Analyse <strong>der</strong> Regeln<br />
• Regeln des <strong>Fuzzy</strong>-Graphen<br />
Wenn x1 in [0.1, 2.1] von ( -, 2.2)<br />
und x2 in [0.19, 0.99] von (0.18, -)<br />
und x3 in [0.01, 0.39] von ( -, -)<br />
und x4 in [1, 15] von ( -, -)<br />
Dann y ist Klasse niedrig<br />
Wenn ...<br />
Dann<br />
• Interpretation<br />
– Modellkonfiguration<br />
– Parametereinfluß<br />
– Empfindlichkeit<br />
University of California<br />
Intelligente Datenanalyse – F4.86 at Berkeley 86<br />
43
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Zusammenfassung FGA<br />
+ Approximation<br />
+ Fehlerbeschränkung auf Beispieldaten<br />
(Rauschtoleranz)<br />
+ Einfache Anwendbarkeit und schnelle Erzeugung<br />
+ Lokal an die Daten adaptierend<br />
- Keine linguistische Interpretation<br />
- Überlappung von Regeln<br />
- Heuristik beeinflußt Ergebnis<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
University of California<br />
Intelligente Datenanalyse – F4.87 at Berkeley 87<br />
Rückblick: Klassifikation <strong>der</strong> Verfahren<br />
• Gitterbasiert<br />
– klassischer Ansatz (Wang & Mendel ‘92)<br />
– Erweiterung (Higgins & Goodman ‘93)<br />
– NEFCLASS (Nauck & Kruse ‘92)<br />
• Finetuning Regelbasis<br />
– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />
– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />
• Regionenbasiert<br />
– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />
– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />
University of California<br />
Intelligente Datenanalyse – F4.88 at Berkeley 88<br />
44
<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />
Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />
Dr. F. Feldbusch<br />
Universität Karlsruhe<br />
ITEC (Prof. J. Henkel)<br />
Bewertung zur Datenanalyse<br />
• Viele Verfahren<br />
• Unterschiedliche Schwerpunkte<br />
– Klassifikation<br />
– Approximation<br />
– Wenige Regeln<br />
– Verständliche Regeln<br />
– Verrauschte Daten<br />
– ...<br />
=> Anwendung problemabhängig<br />
University of California<br />
Intelligente Datenanalyse – F4.89 at Berkeley 89<br />
45