05.07.2013 Aufrufe

Aufbau der Vorlesung Gliederung: Fuzzy Logik - CES

Aufbau der Vorlesung Gliederung: Fuzzy Logik - CES

Aufbau der Vorlesung Gliederung: Fuzzy Logik - CES

MEHR ANZEIGEN
WENIGER ANZEIGEN

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.

<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

<strong>Aufbau</strong> <strong>der</strong> <strong>Vorlesung</strong><br />

1. Einführung<br />

2. Statistik<br />

3. Neuronale Netze<br />

4. <strong>Fuzzy</strong>-<strong>Logik</strong><br />

5. Machine Learning<br />

6. Werkzeuge<br />

University of California<br />

Intelligente Datenanalyse – F4.1 at Berkeley 1<br />

Glie<strong>der</strong>ung: <strong>Fuzzy</strong> <strong>Logik</strong><br />

• Grundlagen <strong>der</strong> <strong>Fuzzy</strong> <strong>Logik</strong><br />

• Unscharfe Regeln<br />

– Extraktion aus Neuronalen Netzen<br />

– Automatische Erzeugung<br />

• Funktionsapproximation mit <strong>Fuzzy</strong> Regeln<br />

University of California<br />

Intelligente Datenanalyse – F4.2 at Berkeley 2<br />

1


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Glie<strong>der</strong>ung: <strong>Fuzzy</strong> <strong>Logik</strong><br />

• Grundlagen <strong>der</strong> <strong>Fuzzy</strong> <strong>Logik</strong><br />

– Unscharfe Mengen und Zugehörigkeitsfunktionen<br />

– Verknüpfungen (und, o<strong>der</strong>)<br />

– <strong>Fuzzy</strong>-Regeln<br />

– <strong>Fuzzy</strong>-Inferenz<br />

– Funktionsapproximation mit <strong>Fuzzy</strong>-Regeln<br />

• Unscharfe Regeln<br />

• Funktionsapproximation mit <strong>Fuzzy</strong>-Regeln<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.3 at Berkeley 3<br />

Klassische Mengentheorie<br />

• zweiwertige, eindeutige Mengenzugehörigkeit<br />

• z. B.: x aus [50. 100]<br />

Zugehörigkeit<br />

μ(x)<br />

1<br />

0<br />

50<br />

100<br />

University of California<br />

Intelligente Datenanalyse – F4.4 at Berkeley 4<br />

x<br />

2


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

<strong>Fuzzy</strong>-Theorie<br />

<strong>Fuzzy</strong> Theorie (Zadeh Zadeh 1965)<br />

• Einführung unscharfer Mengen<br />

– keine eindeutige Mengenzugehörigkeit<br />

– z. B.: eine warme Temperatur<br />

Zugehörigkeit<br />

μ(x)<br />

1<br />

0<br />

Ein Element x gehört<br />

zur Menge A o<strong>der</strong> nicht:<br />

μ A (x)<br />

1<br />

0<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

μ(x)∈{0,1}<br />

A=“warm”<br />

50<br />

100<br />

University of California<br />

Intelligente Datenanalyse – F4.5 at Berkeley 5<br />

Vergleich<br />

x [Grad]<br />

Intelligente Datenanalyse – F4.6<br />

Ein Element x gehört zur<br />

Menge A mit einem<br />

Zugehörigkeitsgrad:<br />

μ(x)∈[0,1]<br />

μ A (x)<br />

1<br />

0<br />

x<br />

A=“warm”<br />

University of California<br />

at Berkeley<br />

x [Grad]<br />

3


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

μ(x)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Zugehörigkeitsfunktion<br />

Trapezoid: <br />

1<br />

0 a b c d<br />

Dreieck: <br />

μ(x)<br />

1<br />

0<br />

μ A (x)<br />

1<br />

α<br />

a b d<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x<br />

x<br />

μ(x)<br />

1<br />

0<br />

Intelligente Datenanalyse – F4.7<br />

Gauss: N(m,s)<br />

s<br />

m<br />

Singleton: (a,1) and (b,0.5)<br />

μ(x)<br />

1<br />

0 a b<br />

Zugehörigkeitsfunktion<br />

Kern: K A :={x | μ A (x)=1} = [b,c]<br />

0 a b c d<br />

Einflußbereich: E A :={x | μ A (x) > 0} = (a,d)<br />

x<br />

Intelligente Datenanalyse – F4.8<br />

University of California<br />

at Berkeley<br />

α-cut: α A :={x | μ A (x) = α}<br />

University of California<br />

at Berkeley<br />

x<br />

x<br />

4


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Linguistische Variable<br />

• Eine Linguistische Variable faßt mehrere <strong>Fuzzy</strong>-<br />

Mengen zusammen.<br />

z.B.: Temperatur = {kalt, mittel, warm}<br />

Zugehörigkeit<br />

μ(t)<br />

1<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

0<br />

Mittel Warm<br />

10 20 30<br />

40<br />

Temperatur t<br />

University of California<br />

Intelligente Datenanalyse – F4.9 at Berkeley 9<br />

Verknüpfungen (klassisch)<br />

• Vereinigung (log. ODER)<br />

x ∈ M1 ∪ M2 ⇔<br />

x ∈ M1 ∨ x ∈ M2 μ(x)<br />

M ∪ M<br />

1 2<br />

1<br />

0<br />

x<br />

• Durchschnitt (log. UND)<br />

x ∈ M1 ∩ M2 ⇔<br />

x ∈ M1 ∧ x ∈ M2 μ(x)<br />

M ∩<br />

M<br />

1 2<br />

1<br />

0<br />

University of California<br />

Intelligente Datenanalyse – F4.10 at Berkeley 10<br />

x<br />

5


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Verknüpfungen (fuzzy ( fuzzy)<br />

• Vereinigung • Durchschnitt<br />

μ(x)<br />

μ(x)<br />

1<br />

0<br />

μ(x)<br />

1<br />

0<br />

μ (x) = max( μ (x), μ (x))<br />

1+2 1 2<br />

μ (x) = μ (x) + μ (x)<br />

1+2 1 2<br />

drastische<br />

Summe<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x<br />

x<br />

1<br />

0<br />

μ(x)<br />

1<br />

0<br />

μ (x) = min( μ (x), μ (x))<br />

1·2 1 2<br />

μ (x) = μ (x) · μ (x)<br />

1·2 1 2<br />

University of California<br />

Intelligente Datenanalyse – F4.11 at Berkeley 11<br />

Spektrum an Verknüpfungen<br />

Durchschnitts-Operatoren<br />

t-Conormen t-Normen<br />

max min<br />

University of California<br />

Intelligente Datenanalyse – F4.12 at Berkeley 12<br />

x<br />

x<br />

drastisches<br />

Produkt<br />

6


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

0.5<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

<strong>Fuzzy</strong>-Regeln<br />

<strong>Fuzzy</strong> Regeln<br />

• Zusammenhänge lassen sich beschreiben mit<br />

Wenn-Dann-Regeln<br />

• Allgemeine Form:<br />

Wenn Prämisse dann Schlußfolgerung<br />

• Beispiel:<br />

Wenn Temperatur ist kalt<br />

Linguistische<br />

Werte<br />

und Menge ist groß<br />

dann Ventil ist ganz_auf<br />

1<br />

Linguistische Variablen<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.13 at Berkeley 13<br />

<strong>Fuzzy</strong>-Inferenz<br />

<strong>Fuzzy</strong> Inferenz<br />

1. Bestimme die Zugehörigkeit <strong>der</strong> Prämissen (T-Normen):<br />

0<br />

μ kalt (t)<br />

15 C<br />

t<br />

1<br />

0.3<br />

0<br />

μ billig (o)<br />

1.- DM/l<br />

Wenn Temperatur ist kalt ... und Öl ist billig ...<br />

} μ prämisse = 0.3<br />

University of California<br />

Intelligente Datenanalyse – F4.14 at Berkeley 14<br />

o<br />

7


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

<strong>Fuzzy</strong>-Inferenz<br />

<strong>Fuzzy</strong> Inferenz II<br />

2. Bestimme die Zugehörigkeitsfunktion <strong>der</strong> Ausgabe:<br />

...<br />

1<br />

μprämisse = 0.3<br />

0<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

μ auf (h)<br />

Intelligente Datenanalyse – F4.15<br />

h<br />

... dann Ventil ist auf<br />

Defuzzifizierung<br />

Intelligente Datenanalyse – F4.16<br />

μ Konsequenz (h)<br />

University of California<br />

at Berkeley<br />

3. Bestimme einen scharfen Wert aus <strong>der</strong> ZF <strong>der</strong> Ausgabe<br />

(zum Beispiel durch “Schwerpunkt-Methode (COG)”):<br />

1<br />

0<br />

48<br />

73<br />

μ Konsequenz (h)<br />

h<br />

COG<br />

University of California<br />

at Berkeley<br />

8


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

0.7<br />

0.2<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

<strong>Fuzzy</strong> Entscheidung<br />

Fuzzifizierung Inferenz Defuzzifizierung<br />

μ kalt μ warm μ heiß<br />

gemessene<br />

Temperatur<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

t<br />

Regelbasis<br />

Wenn Temp ist kalt<br />

dann ventil ist auf<br />

μ kalt =0.7<br />

Wenn Temp ist warm<br />

dann Ventil ist halb<br />

μ warm =0.2<br />

Wenn Temp ist heiß<br />

dann Ventil ist zu<br />

μ heiß =0.0<br />

Intelligente Datenanalyse – F4.17<br />

0.7<br />

0.2<br />

μ auf μ halb μ zu<br />

scharfer Wert<br />

für das Ventil<br />

University of California<br />

at Berkeley<br />

<strong>Fuzzy</strong>-System<br />

<strong>Fuzzy</strong> System als universeller<br />

Approximator<br />

• Ein <strong>Fuzzy</strong>-System beruhe auf den folgenden<br />

Beziehungen:<br />

n<br />

∏<br />

1≤<br />

j<br />

( )<br />

i<br />

i<br />

μ = μ Drastisches Produkt für UND-Verknüpfung<br />

y<br />

j j x<br />

∑<br />

μ<br />

K i i<br />

y<br />

i=<br />

1<br />

= f ( x)<br />

= K i<br />

∑ μ i=<br />

1<br />

Schwerpunktmethode bei <strong>der</strong><br />

Auswertung<br />

i: Index über die Regeln i=1,2,...K<br />

j: Index über Dimension <strong>der</strong> Eingabe j=1,2,...n<br />

y i : höchster Wert einer Regel i<br />

University of California<br />

Intelligente Datenanalyse – F4.18 at Berkeley 18<br />

v<br />

9


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

<strong>Fuzzy</strong>-System<br />

<strong>Fuzzy</strong> System als Approximator<br />

• Die Regel i habe die Form:<br />

Wenn x 1 in RG 1 i und x2 in RG 2 i ...<br />

dann y is RG 0 i<br />

mit RG j i als Region <strong>der</strong> j-ten Dimension <strong>der</strong> Regel i<br />

• Es kann bewiesen werden, daß dieses <strong>Fuzzy</strong>-<br />

System ein universeller Approximator auf einer<br />

kompakten Menge Q ist.<br />

n<br />

[ a b ] × [ a , b ] × ×<br />

[ a b ] R<br />

Q = , ⊂<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

1,<br />

1 2 2<br />

n<br />

n<br />

University of California<br />

Intelligente Datenanalyse – F4.19 at Berkeley 19<br />

<strong>Fuzzy</strong>-System<br />

<strong>Fuzzy</strong> System als Approximator<br />

y<br />

X2<br />

X1<br />

University of California<br />

Intelligente Datenanalyse – F4.20 at Berkeley 20<br />

10


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

<strong>Fuzzy</strong>-System<br />

<strong>Fuzzy</strong> System als Approximator<br />

• Beweis mit Stone-Weierstrass Theorem:<br />

Sei F eine Algebra aus realen, kontinuierlichen Funktionen auf einer<br />

kompakten Menge Q. Wenn F Punkte aus Q trennt, und wenn F an<br />

keinen Punkt von Q Null ist, dann besteht die gleichgradig<br />

abgeschlossene Funktionsmenge B über F aus allen realen,<br />

kontinuierlichen Funktionen auf Q.<br />

Die gleichgradig abgeschlossene Funktionsmenge B über F ist die<br />

Vereinigung von F mit ihren Grenzpunkten. Wenn also B aus allen<br />

realen kontinuierlichen Funktionen über Q besteht, dann kann mit F<br />

jede reale kontinuierliche Funktion mit beliebiger Genauigkeit<br />

approximiert werden.<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.21 at Berkeley 21<br />

<strong>Fuzzy</strong>-System<br />

<strong>Fuzzy</strong> System als Approximator<br />

Das heißt jede Funktion über Q läßt sich beliebig<br />

genau approximieren, wenn das <strong>Fuzzy</strong>-System<br />

folgende Bedingungen erfüllt:<br />

• Die Regionen <strong>der</strong> Ein- und Ausgabe sind frei wählbar<br />

• Die Zugehörigkeitsfunktionen über den Regionen sind<br />

beliebige kontinuierliche Funktionen mit <strong>der</strong> Bedingung,<br />

i<br />

daß sie innerhalb <strong>der</strong> Region nicht Null wird. μ<br />

j ( x j ) ≠ 0<br />

• Alle denkbaren Regeln können für alle Regionen <strong>der</strong><br />

Ausgabe aufgestellt werden.<br />

University of California<br />

Intelligente Datenanalyse – F4.22 at Berkeley 22<br />

11


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

<strong>Fuzzy</strong>-Regeln<br />

<strong>Fuzzy</strong> Regeln zur Datenanalyse<br />

• Eigenschaften:<br />

– Die Flanken <strong>der</strong> Zugehörigkeitsfunktionen ermöglichen<br />

die Berücksichtigung von verrauschten Daten<br />

– Zugehörigkeitsfunktionen können Datenpunkte gut<br />

zusammenfassen<br />

– Leicht verständliches Ergebnis<br />

• Problemstellung:<br />

– Wie kommt man von den Daten zu den Regeln?<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.23 at Berkeley 23<br />

Überdeckung des Eingaberaums<br />

gitterbasiert/global regionenbasiert/lokal<br />

University of California<br />

Intelligente Datenanalyse – F4.24 at Berkeley 24<br />

12


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Regelbasierte <strong>Fuzzy</strong>-Systeme<br />

<strong>Fuzzy</strong> Systeme (RFS)<br />

Nach Surmann lassen sich RFS durch ein 6-Tupel (LV, R, T,<br />

I, T*, DE) beschreiben:<br />

1. einer Menge LV von n linguistischen Eingangs- und einer<br />

Ausgangsvariablen<br />

2. einer Menge R von k unscharfen Regeln<br />

3. einer T-Norm T, mit <strong>der</strong> die Teilprämissen <strong>der</strong> Regeln<br />

ausgewertet werden,<br />

4. einer Implikationsstrategie I,<br />

5. einer T-CO-Norm T*, mit <strong>der</strong> die Ausgangsmengen <strong>der</strong><br />

Regeln verknüpft werden, und<br />

6. einem Defuzzifizierungsverfahren DE.<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.25 at Berkeley 25<br />

Beispiel<br />

• Mamdani<br />

RFSmam = (LV, R, MIN, MIN, MAX, COG)<br />

– Zugehörigkeitsfunktionen symmetrisch und dreieckig<br />

– Bestimmung <strong>der</strong> Teilprämissen und einer Regel durch<br />

Minimum<br />

– Zugehörigkeit zur Ausgabe bei mehreren Regeln über<br />

Maximum<br />

– Center of Gravity zur Defuzzifizierung<br />

University of California<br />

Intelligente Datenanalyse – F4.26 at Berkeley 26<br />

13


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Freiheitsgrade bei <strong>Fuzzy</strong>-Regeln<br />

<strong>Fuzzy</strong> Regeln<br />

1. Linguistischen Eingangs- und Ausgangsvariablen LV und<br />

<strong>der</strong>en Zugehörigkeitsfunktionen<br />

– Einflußbereich<br />

– Anzahl<br />

– Form<br />

2. Menge von unscharfen Regeln R<br />

3. T-Norm T<br />

4. Implikationsstrategie I,<br />

5. T-CO-Norm T*<br />

6. Defuzzifizierungsverfahren DE.<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

• Gitterbasiert<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.27 at Berkeley 27<br />

Klassifikation <strong>der</strong> Verfahren<br />

– klassischer Ansatz (Wang & Mendel ‘92)<br />

– Erweiterung (Higgins & Goodman ‘93)<br />

– NEFCLASS (Nauck & Kruse ‘92)<br />

• Finetuning Regelbasis<br />

– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />

– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />

• Regionenbasiert<br />

– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />

– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />

University of California<br />

Intelligente Datenanalyse – F4.28 at Berkeley 28<br />

14


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

• Gitterbasiert<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Klassifikation <strong>der</strong> Verfahren<br />

– klassischer Ansatz (Wang & Mendel ‘92)<br />

– Erweiterung (Higgins & Goodman ‘93)<br />

– NEFCLASS (Nauck & Kruse ‘92)<br />

• Finetuning Regelbasis<br />

– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />

– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />

• Regionenbasiert<br />

– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />

– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.29 at Berkeley 29<br />

<strong>Fuzzy</strong>-Regelextraktion<br />

<strong>Fuzzy</strong> Regelextraktion aus Daten<br />

• Ausgangspunkt: numerische Daten <strong>der</strong> Form<br />

x 1 (1) , x2 (1) , ... y (1)<br />

x 1 (2) , x2 (2) , ... y (2)<br />

mit f:(x 1, x 2, ...) -> y<br />

evtl. sind Regeln aus Expertenwissen bereits<br />

bekannt.<br />

University of California<br />

Intelligente Datenanalyse – F4.30 at Berkeley 30<br />

15


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Regelextraktion - 1.Schritt<br />

• Für jedes Merkmal den Wertebereich bestimmen<br />

und in 2m+1 Regionen für ZF einteilen.<br />

• Zugehörigkeitsfunktionen auswählen (i. R.<br />

Dreiecke)<br />

Dieses Vorgehen ist sehr willkürlich. Oft werden<br />

Anhaltspunkte, wie Häufigkeit von Datenpunkten<br />

im Bereich o<strong>der</strong> Vorwissen verwendet.<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.31 at Berkeley 31<br />

Regelextraktion - 2. Schritt<br />

• Erzeugung <strong>der</strong> <strong>Fuzzy</strong>-Regeln<br />

– Bestimme die Zugehörigkeit eines Datensatzes zu den<br />

Regionen<br />

– Wähle die Region mit dem höchsten<br />

Zugehörigkeitswert<br />

– Erzeuge daraus eine Regel<br />

Beispiel:<br />

(x (i)<br />

1 , x2<br />

(i) , y (i) ) =><br />

x (i)<br />

1 /0,8 in PB; x2<br />

(i) /0,7 in PS; y (i) /0,9 in ZR =><br />

Regel (i): IF x1 is PB AND x2 is PS THEN y is ZR<br />

University of California<br />

Intelligente Datenanalyse – F4.32 at Berkeley 32<br />

16


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Regelextraktion - 2. Schritt<br />

• Je<strong>der</strong> Datensatz wird zu einer Regel.<br />

• Die Regeln enthalten jeweils alle Parameter<br />

• Bei <strong>der</strong> Regelerzeugung geht Information aus den<br />

Daten verloren, da nur die hohen<br />

Zugehörigkeitswerte Berücksichtigung finden.<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.33 at Berkeley 33<br />

Regelextraktion - 3. Schritt<br />

• Je<strong>der</strong> Regel wird eine Bewertung D zugeordnet<br />

z. B.: Produktstrategie:<br />

D Regel i = μ A(x 1)*μ B(x 2) ... *μ Z(y)<br />

hier: 0,8 * 0,7 * 0,9 = 0,504<br />

• Nun läßt sich die Anzahl <strong>der</strong> Regeln verringern,<br />

indem Regeln mit gleicher Prämisse zu einer<br />

Regel mit neuer Bewertung werden.<br />

z. B.: D neu = Max (D 1, D 5, D 6, D 15)<br />

University of California<br />

Intelligente Datenanalyse – F4.34 at Berkeley 34<br />

17


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Regelextraktion 4. Schritt<br />

• Kombiniere extrahierte Regeln mit Expertenregeln<br />

in einer Matrix<br />

• Beispiel für 2 Dimensionen:<br />

x1<br />

x2<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

NB NS ZR PS PB<br />

PB NB/0,3 NB/0,1 - ZR/0,8 PS/0,3<br />

PS - NS/0,5 NS/0,4 ZR/0,7 PB/0,8<br />

ZR - NS/0,6 PS/1 - NS/0<br />

NS PS/0,9 ZR/0,3 ZR/0,8 PS/0,9 PB/0,9<br />

NB PB/0,9 PS/0,5 PS/1 PB/0,7 -<br />

University of California<br />

Intelligente Datenanalyse – F4.35 at Berkeley 35<br />

Regelextraktion 4. Schritt<br />

• UND-Verknüpfung: 1 Feld<br />

• ODER-Verknüpfung: 1 Zeile o<strong>der</strong> Spalte<br />

• Bei gleichen Regeln: Maximaler Wert<br />

• Nachteil: Großer Speicherbedarf bei<br />

hochdimensionalen Problemen<br />

University of California<br />

Intelligente Datenanalyse – F4.36 at Berkeley 36<br />

18


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Regelextraktion 5. Schritt<br />

• Ein-/Ausgabe-Abbildung (Defuzzifizierung) durch<br />

Schwerpunktmethode<br />

μ(y)<br />

1<br />

0<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

y<br />

y<br />

K i<br />

∑ μ i=<br />

1 O<br />

i<br />

∑ μ i<br />

O<br />

= K<br />

i=<br />

1<br />

University of California<br />

Intelligente Datenanalyse – F4.37 at Berkeley 37<br />

i y<br />

K: Anz. Regeln in Matrix<br />

o i : Name einer Zugehörigkeitsfkt.<br />

y i : höchster Wert von o i<br />

Bewertung <strong>der</strong> Regelextraktion<br />

+ Beliebige Anzahl von Ein-/Ausgaben möglich<br />

+ nur ein Trainingsdurchlauf notwendig<br />

+ kein Modell erfor<strong>der</strong>lich<br />

- hoher Speicherbedarf<br />

- die Zugehörigkeitsfunktionen sind vorgegeben<br />

- Originaldaten und Ergebnisse aus Regeln können<br />

stark abweichen<br />

- Rauschen nicht berücksichtigt<br />

University of California<br />

Intelligente Datenanalyse – F4.38 at Berkeley 38<br />

i<br />

19


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Weiterentwicklung<br />

• Higgins & Goodman:<br />

– Beginne mit wenigen Zugehörigkeitsfunktionen<br />

– Wende Wang & Mendel - Ansatz an<br />

– Prüfe die Approximation auf den Trainingsdaten<br />

– Füge an Stellen mit großem Fehler eine neue ZF ein<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x x<br />

University of California<br />

Intelligente Datenanalyse – F4.39 at Berkeley 39<br />

NEFCLASS<br />

• Neuro <strong>Fuzzy</strong> Classification<br />

• Ziel: <strong>Fuzzy</strong>-Regeln aus einer Datenmenge, die<br />

sich in Klassen einteilen lässt<br />

• Abbildung von <strong>Fuzzy</strong>-Regeln auf Neuronen<br />

• Abbildung von Zugehörigkeitsfunktionen auf<br />

Gewichte<br />

• Gelernt werden die Regeln und die Parameter <strong>der</strong><br />

Zugehörigkeitsfunktionen<br />

University of California<br />

Intelligente Datenanalyse – F4.40 at Berkeley 40<br />

20


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

NEFCLASS (2)<br />

Erfahrung: Regeln sind besser durch <strong>Fuzzy</strong>-Clustering<br />

Verfahren zu bestimmen<br />

1. Durchlauf:<br />

– Erzeugen von Neuronen durch Finden <strong>der</strong><br />

Kombinationen von ZFkt mit den höchsten<br />

Zugehörigkeitswerten für ein Datum.<br />

– Gibt es eine solche Regel nicht, wird eine neue erzeugt.<br />

Nur die besten k Regeln werden danach zu Neuronen.<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.41 at Berkeley 41<br />

NEFCLASS (3)<br />

• 2. Durchlauf: Lernen <strong>der</strong> Parameter <strong>der</strong><br />

Zugehörigkeitsfkt. (nur Dreiecke erlaubt)<br />

• Idee: Bündeln von Verbindungen für gleiche<br />

Zugehörigkeitsfunktionen erlaubt das spätere<br />

Anwenden von linguistischen Variablen.<br />

• Lernen durch modifiziertes Backpropagation (ein<br />

Gewicht hat drei Parameter)<br />

University of California<br />

Intelligente Datenanalyse – F4.42 at Berkeley 42<br />

21


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

NEFCLASS-Netzwerk<br />

NEFCLASS Netzwerk<br />

R1 R2 R3 R4 R5<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

z<br />

x y<br />

Klein<br />

Mittel<br />

Groß<br />

University of California<br />

Intelligente Datenanalyse – F4.43 at Berkeley 43<br />

Bewertung von NEFCLASS<br />

+ Neuronales Netz läßt sich als <strong>Fuzzy</strong>-Regeln interpretieren<br />

+ Modifiziertes Back-Propagation als Lernverfahren<br />

+ gemeinsame Ausrichtung <strong>der</strong> Gewichte führt zur<br />

Anwendbarkeit von Linguistischen Variablen<br />

– Die Klassifikationsleistung ist jedoch nicht so gut, wie bei<br />

anspruchsvollen <strong>Fuzzy</strong>-Clustering Verfahren<br />

– Die Vorgabe von Zugehörigkeitsfkt. ist für Clustering<br />

notwendig<br />

– In den Regeln sind zunächst alle Eingabeparameter aufgeführt.<br />

– Nach dem Optimieren <strong>der</strong> Zugehörigkeitsfkt. können starke<br />

Überlappungen die Interpretation erschweren.<br />

University of California<br />

Intelligente Datenanalyse – F4.44 at Berkeley 44<br />

22


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Regeln nach Durchlauf 1:<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Beispiel: Iris-Daten Iris Daten<br />

IF V 1 is small and V 2 is medium and V 3 is small and V 4 is small THEN Cl. 1<br />

IF V 1 is large and V 2 is medium and V 3 is medium and V 4 is medium THEN Cl. 2<br />

IF V 1 is small and V 2 is small and V 3 is medium and V 4 is medium THEN Cl. 2<br />

IF V 1 is medium and V 2 is medium and V 3 is large and V 4 is large THEN Cl. 3<br />

IF V 1 is medium and V 2 is small and V 3 is large and V 4 is large THEN Cl. 3<br />

IF V 1 is large and V 2 is small and V 3 is large and V 4 is large THEN Cl. 3<br />

IF V 1 is large and V 2 is medium and V 3 is large and V 4 is large THEN Cl. 3<br />

V1 = Kelchblattlänge in cm V2 = Kelchblattbreite in cm<br />

V3 = Blumenblattlänge in cm V4 = Blumenblattbreite in cm<br />

Cl.1 = Iris Setosa Cl.2= Iris Versicolour Cl. 3= Iris Virginica<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.45 at Berkeley 45<br />

Ergebnisse von NEFCLASS<br />

University of California<br />

Intelligente Datenanalyse – F4.46 at Berkeley 46<br />

23


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

• Gitterbasiert<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Klassifikation <strong>der</strong> Verfahren<br />

– klassischer Ansatz (Wang & Mendel ‘92)<br />

– Erweiterung (Higgins & Goodman ‘93)<br />

– NEFCLASS (Nauck & Kruse ‘92)<br />

• Finetuning Regelbasis<br />

– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />

– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />

• Regionenbasiert<br />

– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />

– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.47 at Berkeley 47<br />

<strong>Fuzzy</strong>-MLP <strong>Fuzzy</strong> MLP<br />

• Idee: Ersetze die „Gewichtete Summe“ und<br />

„Sigmoidfunktion“ durch „t-norm“ und „tconorm“<br />

für „UND“ und „ODER“<br />

• Die Und-O<strong>der</strong>-Struktur des Netzes erlaubt die<br />

Interpretation als Regeln<br />

• Lernverfahren: Backpropagation<br />

• t-norm: min, product (ab)<br />

• t-conorm: max, probabilistic sum (a+b-ab)<br />

• Eingabe: Zugehörigkeit zu Zugerhörigkeitsfkt.<br />

University of California<br />

Intelligente Datenanalyse – F4.48 at Berkeley 48<br />

24


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

OR<br />

AND<br />

<strong>Fuzzy</strong>-MLP <strong>Fuzzy</strong> MLP<br />

Ausgaben<br />

Yi Eingaben<br />

University of California<br />

Intelligente Datenanalyse – F4.49 at Berkeley 49<br />

X j<br />

W ji<br />

Bewertung von Regeln<br />

• Wichtig, um bei großen Regelmengen die<br />

wichtigsten herauszufinden.<br />

• Als Auswahlverfahren ermöglicht es „Extraktion<br />

von Regeln aus Daten“<br />

• Vorgegeben: beliebige Regelmenge,<br />

Zugehörigkeitsfkt. und t-norm bzw. t-conorm<br />

• Gesucht: Wahrheitsmaß je<strong>der</strong> Regel<br />

University of California<br />

Intelligente Datenanalyse – F4.50 at Berkeley 50<br />

25


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Möglichkeit<br />

Π(t)<br />

Zugehörigkeit<br />

μ(t)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Beispiel für Bewertung (1)<br />

1<br />

0°<br />

Πk alt<br />

Πh eiß<br />

Heiß<br />

40° 60° 100°<br />

e e Temperatur t<br />

1 2 e3 University of California<br />

Intelligente Datenanalyse – F4.51 at Berkeley 51<br />

Glaubwürdigkeit-Plausibilität<br />

Glaubwürdigkeit Plausibilität<br />

• Plausibilität: Addiere alle Möglichkeiten, daß e j zu<br />

Zfkt. A gehört und dividiere (normiere) durch die<br />

Anzahl <strong>der</strong> Beispiele h.<br />

University of California<br />

Intelligente Datenanalyse – F4.52 at Berkeley 52<br />

26


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

Glaubwürdigkeit-Plausibilität<br />

Glaubwürdigkeit Plausibilität<br />

• Glaubwürdigkeit: Berechnung aus <strong>der</strong> Häufigkeit<br />

<strong>der</strong> Gegenbeispiele (Komplementmenge)<br />

• Maß zur Bewertung als Intervall [g h(A), f h(A)]<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.53 at Berkeley 53<br />

Beispiel für Bewertung (2)<br />

University of California<br />

Intelligente Datenanalyse – F4.54 at Berkeley 54<br />

27


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Erweiterung 1: mehr Dimensionen<br />

* steht hierbei für eine t-norm<br />

Zur besseren Lesbarkeit wird folgende Vereinfachung gemacht<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.55 at Berkeley 55<br />

Erweiterung 2: Bedingte Häufigkeit<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.56 at Berkeley 56<br />

28


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Beispiel für Bewertung (3)<br />

100% <strong>der</strong> Beispiele<br />

repräsentieren die Regel gut<br />

15% <strong>der</strong> Beispiele passen<br />

besser zu an<strong>der</strong>en Regeln<br />

University of California<br />

Intelligente Datenanalyse – F4.57 at Berkeley 57<br />

Beispiel: Stop-and Stop and-Go Go Regler (1)<br />

• Ziel: Automatisches Gaspedal für Stop-and-Go<br />

Verkehr<br />

• Verfahren: Lernen aus Beispielfahrten<br />

hier: Auswahl von Regeln durch Bewertung<br />

• Daten: Abstand und Relativgeschwindigkeit zum<br />

Vor<strong>der</strong>mann<br />

University of California<br />

Intelligente Datenanalyse – F4.58 at Berkeley 58<br />

29


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Beispiel: Stop-and Stop and-Go Go Regler (2)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

23 Regeln wurden ausgewählt<br />

und beschreiben solche<br />

Reglerkennlinien:<br />

University of California<br />

Intelligente Datenanalyse – F4.59 at Berkeley 59<br />

Beispiel: Stop-and Stop and-Go Go Regler (3)<br />

Erst im zweiten Anlauf<br />

arbeitete <strong>der</strong> Regler gut.<br />

Zugehörigkeitsfunktionen<br />

wurden verän<strong>der</strong>t.<br />

Expertenregeln wurden<br />

hinzugefügt.<br />

University of California<br />

Intelligente Datenanalyse – F4.60 at Berkeley 60<br />

30


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

• Gitterbasiert<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Klassifikation <strong>der</strong> Verfahren<br />

– klassischer Ansatz (Wang & Mendel ‘92)<br />

– Erweiterung (Higgins & Goodman ‘93)<br />

– NEFCLASS (Nauck & Kruse ‘92)<br />

• Finetuning Regelbasis<br />

– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />

– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />

• Regionenbasiert<br />

– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />

– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.61 at Berkeley 61<br />

Aktivierungs-/Inhibitions<br />

Aktivierungs /Inhibitions-Rechtecke Rechtecke<br />

• Abe & Lan ‘95<br />

– Quantisierung <strong>der</strong> Ausgaben (keine Granularisierung)<br />

– Bilde Aktivierungs-Hyperrechtecke<br />

– Werden Daten an<strong>der</strong>er Klassen überdeckt, bilde<br />

Inhibitionsrechteck usw.<br />

– Wenn X in Akt.HR A und X nicht in Inh.HR B<br />

dann Intervall I<br />

University of California<br />

Intelligente Datenanalyse – F4.62 at Berkeley 62<br />

31


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Aktivierungs-/Inhibitions<br />

Aktivierungs /Inhibitions-Rechtecke Rechtecke (2)<br />

• Beispiel<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x<br />

x<br />

x<br />

x<br />

o x o<br />

A 2<br />

A 1<br />

University of California<br />

Intelligente Datenanalyse – F4.63 at Berkeley 63<br />

RecBF und <strong>Fuzzy</strong> Graph<br />

• Berthold & Huber ‘95<br />

• Historie: entstanden aus dem DDA<br />

• Idee: Regionen lokal & rund -> lokal & rechteckig<br />

• Eigenschaften<br />

– rechteckförmig -> interpretierbar<br />

– flexible Größe -> paßt sich an Daten an<br />

– Innerer (Kern) und äußerer (Einfluss) Bereich<br />

• Algorithmus<br />

– konstruktiv<br />

– schnell<br />

University of California<br />

Intelligente Datenanalyse – F4.64 at Berkeley 64<br />

I 2<br />

I 1<br />

32


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

DDA-RBF DDA RBF RecBF<br />

• Idee: Rechteckige lokale Bereiche <strong>der</strong> Neuronen<br />

Aktivierung<br />

Distanz y<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Gauß’sche<br />

Glocke<br />

Distanz<br />

Distanz x<br />

Aktivierung<br />

Distanz<br />

Distanz y Einflußbereich<br />

Kernbereich<br />

Distanz x<br />

- nicht im Raster<br />

+ unendliche<br />

Ausdehnung<br />

möglich<br />

University of California<br />

Intelligente Datenanalyse – F4.65 at Berkeley 65<br />

Rechteckige Basisfunktion RecBF<br />

Einflußbereich<br />

Kernbereich<br />

-<br />

Λ 1<br />

-<br />

λ 1<br />

+<br />

λ 1<br />

+<br />

Λ 1<br />

+<br />

λ 2<br />

-<br />

λ 2<br />

+<br />

Λ 2<br />

-<br />

Λ 2<br />

Bei RBF gab es nur den Radius σ<br />

Neue Konfliktvermeidungsstrategie ist notwendig<br />

University of California<br />

Intelligente Datenanalyse – F4.66 at Berkeley 66<br />

33


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

RecBF - Regelextraktion<br />

Kern und Einflußbereich im ℜ m<br />

Wennx1 in [a1, b1 ] ⊆ (c1, d1, )<br />

Und xn in Kernn ⊆ Einflußb.<br />

DannKlasse K = [ay, by ] ⊆ (cy, dy )<br />

Regeln = Explizites (lokales) Wissen über<br />

Zusammenhänge, Parametereinfluß und Empfindlichkeit<br />

• Algorithmus<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.67 at Berkeley 67<br />

RecBFN<br />

– Überdeckung (covered)<br />

– Einfügung (commit)<br />

– Verkleinern (shrink)<br />

• Klassifikationsregionen<br />

– lokal<br />

– rechteckförmig und achsenparallel -> Regeln<br />

extrahierbar<br />

– Bereich zwischen Klassen interpretierbar<br />

University of California<br />

Intelligente Datenanalyse – F4.68 at Berkeley 68<br />

34


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Algorithmus<br />

Iteriere, bis alle Trainingsmuster korrekt klassifiziert sind:<br />

Für jedes zu klassifizierende Muster:<br />

Falls Datum<br />

im Kern <strong>der</strong> korrekten Klasse (covered):<br />

NOP<br />

im Einflußbereich <strong>der</strong> korrekten Klasse (commit):<br />

Vergrößere Kernbereich<br />

nicht korrekt klassifiziert (shrink):<br />

Lege neues “Neuron” an und mache<br />

Konfliktauflösung<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.69 at Berkeley 69<br />

Algorithmus<br />

• Während einer Epoche, dem einmaligen Anlegen aller<br />

Beispieldaten, wird für jeden Vektor X geprüft:<br />

– covered: Falls X im Einflußbereich einer bereits existierenden<br />

RecBF liegt und mit ihrer Klasse übereinstimmt, wird diese RecBF<br />

soweit vergrößert, daß ihr Kern den Vektor abdeckt.<br />

– commit: Wenn X nicht im Einflußbereich eines vorh. RecBFs <strong>der</strong><br />

entsprechenden Klasse liegt, wird ein neues RecBF eingefügt.<br />

– shrink: Steht X in Konflikt mit einer RecBF, d.h. die Klasse des<br />

Vektors und <strong>der</strong> RecBF stimmen nicht überein und <strong>der</strong> Vektor<br />

verursacht eine Aktivierung <strong>der</strong> RecBF > 0. Der Einflußbereich<br />

<strong>der</strong> RecBF muß soweit verringert werden, daß <strong>der</strong> Vektor nach<br />

Verkleinerung außerhalb liegt und die Aktivierung <strong>der</strong> RecBF für<br />

diesen Trainingsvektor gleich 0 ist.<br />

University of California<br />

Intelligente Datenanalyse – F4.70 at Berkeley 70<br />

35


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

x 2<br />

1<br />

Konfliktvermeidung bei RecBF<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Heuristik:<br />

Wähle möglichst großes<br />

Volumen des<br />

Einflußbereiches<br />

Ausnahme: Einflußbereich<br />

wird zu schmal<br />

University of California<br />

Intelligente Datenanalyse – F4.71 at Berkeley 71<br />

Beispiel<br />

x 1<br />

x 2<br />

1<br />

x<br />

x x<br />

University of California<br />

Intelligente Datenanalyse – F4.72 at Berkeley 72<br />

x 1<br />

36


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

d 2<br />

c 2<br />

b 2<br />

x 2<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x<br />

x x<br />

x<br />

x<br />

b 1<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

x 2<br />

1<br />

Beispiel<br />

x<br />

x x o<br />

University of California<br />

Intelligente Datenanalyse – F4.73 at Berkeley 73<br />

Beispiel -> > Regelextraktion<br />

o<br />

x<br />

c 1 d 1<br />

o<br />

o<br />

o<br />

x 1<br />

University of California<br />

Intelligente Datenanalyse – F4.74 at Berkeley 74<br />

x 1<br />

Regeln können direkt<br />

ausgegeben werden, z.B.:<br />

Wenn x 1 in < -, b 1 , c 1, d 1><br />

und x 2 in < -, b 2 , c 2 , d 2 ><br />

dann Klasse X<br />

Wenn x 1 > d 1 dann Klasse O<br />

(verkürzt dargestellt)<br />

37


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

5.1 3.5 1.4 0.2 1 0 0<br />

4.9 3.0 1.4 0.2 1 0 0<br />

4.7 3.2 1.3 0.2 1 0 0<br />

4.6 3.1 1.5 0.2 1 0 0<br />

7.0 3.2 4.7 1.4 0 1 0<br />

6.4 3.2 4.5 1.5 0 1 0<br />

6.9 3.1 4.9 1.5 0 1 0<br />

6.3 2.9 5.6 1.8 0 0 1<br />

.....<br />

RecBF:<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Irisdaten mit RecBF<br />

150 Datensätze<br />

4 Merkmale<br />

Kelchblattlänge, Kelchblattbreite,<br />

Blumenblattlänge, Blumenblattbreite<br />

3 Klassen<br />

Iris Setosa, Iris Versicolour, Iris Virginica<br />

– 8 Regeln gefunden, z.B.:<br />

– Wenn Blumenblattlänge in [1.2, 1.9] Dann Klasse Setosa<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.75 at Berkeley 75<br />

Iris-Daten Iris Daten mit RecBF<br />

University of California<br />

Intelligente Datenanalyse – F4.76 at Berkeley 76<br />

38


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Bewertung von DDA-RecBF<br />

DDA RecBF<br />

+ Interpretierbares “Neuronales Netz”<br />

+ schnelles Lernverfahren<br />

+ Erzeugung von verständlichen <strong>Fuzzy</strong>-Regeln<br />

+ nicht alle Eingabedimensionen sind in <strong>der</strong> Regel<br />

aufgeführt<br />

– nur Klassifikation, keine Funktionsapproximation<br />

– Anzahl <strong>der</strong> Regeln kann groß werden<br />

– keine linguistischen Variablen<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.77 at Berkeley 77<br />

Approximation mit RecBF<br />

• endlich viele Klassen<br />

=> unendlich viele kontinuierliche Ausgabewerte<br />

(a, b, c) -> (0.44, 0.8, 1.3, 99.2)<br />

• Klassifikation -> Approximation<br />

• Idee: Ausgabewerte auf “unscharfe Klassen” abbilden<br />

(Fuzzifizierung), dann RecBF-Algo nutzen<br />

• Bereich zwischen den Regeln zur Interpolation nutzbar<br />

=> regionenbasierter Ansatz<br />

University of California<br />

Intelligente Datenanalyse – F4.78 at Berkeley 78<br />

39


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Vom RecBF zu <strong>Fuzzy</strong> Graphen<br />

• <strong>Fuzzy</strong> Graph<br />

– lokal<br />

– kompakt<br />

– Regeln extrahierbar<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

• <strong>Fuzzy</strong>-Punkt:<br />

• Zugehörigkeit:<br />

University of California<br />

Intelligente Datenanalyse – F4.79 at Berkeley 79<br />

<strong>Fuzzy</strong>-Punkt<br />

<strong>Fuzzy</strong> Punkt<br />

μ ∧∧μ 1 i<br />

m j<br />

i { m } j m<br />

μ( x ,..., x ) = min μ ( x ),..., μ ( x )<br />

1 m<br />

1 1<br />

Kern<br />

Einflußbereich<br />

University of California<br />

Intelligente Datenanalyse – F4.80 at Berkeley 80<br />

40


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

• Beispiel<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

<strong>Fuzzy</strong> Graph<br />

University of California<br />

Intelligente Datenanalyse – F4.81 at Berkeley 81<br />

Vorgehen<br />

• Eingabe: Beispieldaten (von Modellauswertungen)<br />

Unscharfe Klassen <strong>der</strong> Zielgröße<br />

• Ausgabe:Menge von <strong>Fuzzy</strong>-Regeln (<strong>Fuzzy</strong>-Graph)<br />

University of California<br />

Intelligente Datenanalyse – F4.82 at Berkeley 82<br />

41


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Approximation<br />

• Gegeben: X = (x1, x2, ...., xm) • Gesucht: f<strong>Fuzzy</strong>-Graph(X) = ?<br />

1. Bestimme Zugehörigkeit für alle <strong>Fuzzy</strong>-Punkte:<br />

i { m } j m<br />

μ( x ,..., x ) = min μ ( x ),..., μ ( x )<br />

k<br />

1 m<br />

1 1<br />

2. Bestimme Zugehörigkeit zu einer Klasse:<br />

{ k }<br />

μ ( x ,..., x ) = max μ ( X),..., μ ( X)<br />

1 m 1<br />

r<br />

3. Wende Defuzzifizierung an.<br />

• Beispiel<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.83 at Berkeley 83<br />

Approximation<br />

University of California<br />

Intelligente Datenanalyse – F4.84 at Berkeley 84<br />

42


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Umgang mit verrauschten Daten<br />

• Beispiele mit verschieden Rauschniveaus:<br />

[-0.5, 0.5] [-2, 2]<br />

University of California<br />

Intelligente Datenanalyse – F4.85 at Berkeley 85<br />

Analyse <strong>der</strong> Regeln<br />

• Regeln des <strong>Fuzzy</strong>-Graphen<br />

Wenn x1 in [0.1, 2.1] von ( -, 2.2)<br />

und x2 in [0.19, 0.99] von (0.18, -)<br />

und x3 in [0.01, 0.39] von ( -, -)<br />

und x4 in [1, 15] von ( -, -)<br />

Dann y ist Klasse niedrig<br />

Wenn ...<br />

Dann<br />

• Interpretation<br />

– Modellkonfiguration<br />

– Parametereinfluß<br />

– Empfindlichkeit<br />

University of California<br />

Intelligente Datenanalyse – F4.86 at Berkeley 86<br />

43


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Zusammenfassung FGA<br />

+ Approximation<br />

+ Fehlerbeschränkung auf Beispieldaten<br />

(Rauschtoleranz)<br />

+ Einfache Anwendbarkeit und schnelle Erzeugung<br />

+ Lokal an die Daten adaptierend<br />

- Keine linguistische Interpretation<br />

- Überlappung von Regeln<br />

- Heuristik beeinflußt Ergebnis<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

University of California<br />

Intelligente Datenanalyse – F4.87 at Berkeley 87<br />

Rückblick: Klassifikation <strong>der</strong> Verfahren<br />

• Gitterbasiert<br />

– klassischer Ansatz (Wang & Mendel ‘92)<br />

– Erweiterung (Higgins & Goodman ‘93)<br />

– NEFCLASS (Nauck & Kruse ‘92)<br />

• Finetuning Regelbasis<br />

– <strong>Fuzzy</strong>-MLP (Mitra & Pal ‘94)<br />

– Bewertung von Regeln (Delgado & Gonzalez ‘93)<br />

• Regionenbasiert<br />

– Aktivierungs/Inhibitions-Rechtecke (Abe & Lan ‘95)<br />

– RecBF und <strong>Fuzzy</strong> Graph (Berthold & Huber ‘95)<br />

University of California<br />

Intelligente Datenanalyse – F4.88 at Berkeley 88<br />

44


<strong>Vorlesung</strong> “Intelligente Datenanalye”<br />

Universität Karlsruhe, ITEC (Prof. J. Henkel)<br />

Dr. F. Feldbusch<br />

Universität Karlsruhe<br />

ITEC (Prof. J. Henkel)<br />

Bewertung zur Datenanalyse<br />

• Viele Verfahren<br />

• Unterschiedliche Schwerpunkte<br />

– Klassifikation<br />

– Approximation<br />

– Wenige Regeln<br />

– Verständliche Regeln<br />

– Verrauschte Daten<br />

– ...<br />

=> Anwendung problemabhängig<br />

University of California<br />

Intelligente Datenanalyse – F4.89 at Berkeley 89<br />

45

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!