Nicht-negative Matrix-Faktorisierung (NMF) für die Mustererkennung

Nicht-negative 

Matrix-Faktorisierung (NMF) 

für die Mustererkennung 

Alexander Gloye 

11. Februar 2005

Überblick 

� Motivation 

� Datenaufbereitung 

� Matrixfaktorisierung 

� Methodenvergleich 

� Algorithmus zur NMF 

� Erweiterungen 

� Anwendungsbeispiele 

� Zusammenfassung 

11. Februar 2005 Alexander Gloye 2

Motivation Merkmalsanalyse 

Quelle: http://www.pxlartist.de 


Vektorielle Datenkodierung 

11. Februar 2005 Alexander Gloye 4 

...

Bild(de)kodierung 

Datensatz Basis Kodierung 

v ≈ W · h 

≈ · 


1 

0 

0 

1 

1

Matrix-Faktorisierung 

V ≈ V’ = W · H 

= 

Datensatz Merkmalsbasis Kodierung 


·

Matrixfaktorisierung 

Ausgewählte Methoden 

� Vektorquantisierung 

� Hauptkomponentenanalyse 

� Nicht-negative Matrixfaktorisierung 


Beispieldaten Gesichter 

19×19=361 Pixel 

2429 Gesichter 


Vektorquantisierung 

� Repräsentative Vektoren 

zur Aufteilung des Raums 

als Basis W 

� Hier Linde-Buzo-Gray 

� Zuordnung durch 

„nächsten Nachbarn“ 

20 Basisvektoren 



Kodierung h 

Gewichtete 

Basis W 

Original v Rekonstruktion Wh 


Hauptkomponentenanalyse 

� Eigenvektoren der 

Kovarianzmatrix der Daten 

bilden die Basis W 

� “Eigenfaces” 



positiv 

Null 

negativ

Gewichtete 



Basis W 



Nicht-negative Matrixfaktorisierung 

� Basis W und Kodierung H nur positive Werte 

oder Null 

� Der Fehler V bzgl. V’ soll minimiert werden 





Gewichtete 

Basis W 



Beispieldaten Ziffern 

12×16=192 Pixel 

1000 Ziffern 




Gewichtete 

Basis W 





Gewichtete 

Basis W 





Gewichtete 

Basis W 



Algorithmus zur NMF 

� Expectation-Maximization (EM)-Algorithmus 

� W und H werden wechelseitig optimiert 

� Für die Fehlerfunktion 

� Euklidische Distanz: 

−V 

′ 

� Kullback-Leibler Abweichung: 

V 

∑ ( v − ′ ) ij vij 


2 

= 

ij 

( ) ∑ ⎟ ⎛ v ⎞ 

ij 

D V || 

V ′ = ⎜v 

− + ′ 

⎜ ij log vij 

vij 

ij ⎝ v′ 

ij ⎠ 

2

Fehlerfunktion 



w 

w 

h 

ia 

ia 

aµ 

← 

← 

← 

w 

ia 

∑ 

h 

j 

aµ 

∑ 

∑ 


w 

ia 

ja 

iµ 

v′ 

µ iµ 

w 

v 

h 

aµ 

v 

w 

iµ 

ia 

v′ 

i iµ

Anpassung von W 

v 

v 

w 

iµ 

w ← w 

∑ i h 

ia ia a 

v′ 

v′ 

µ i iµ 

w 

ia 

← 

∑ 

j 

w 

ia 

w 

ja 

h 

aµ 

V/V’ v/v’ 

W Hh 


i 

i 

a 

a

Anpassung von W 

w ← w ∑ 

iµ 

ia ia 

v′ 

µ iµ 

w 

ia 

← 

∑ 

j 

w 

ia 

w 

ja 

v 

h 

aµ 

W H 


i 

V/V’ 

µ 

i 

a 

µ 

a

Anpassung von H 

h 

v 

∑ w 

i 

ia 

v′ 

← aµ 

haµ 

µ 

i iµ 

W ist normiert! 

V/V’ 

W H 


i 

µ 

i 

a 

µ 

a


Gradientenabstieg 

( ) ∑ ⎟ ⎟ 

⎠ 

⎞ 

⎜ 

⎜ 

⎝ 

⎛ 

′ 

+ 

− 

′ 

= 

′ 

ij 

ij 

ij 

ij 

ij 

ij 

v 

v 

v 

v 

v 

V 

V 

D log 

|| 

1 

' 

' 

) 

' 

|| 

( 

+ 

− 

= 

∂ v 

v 

v 

v 

v 

D 

' 

1 

' 

1 

1 

' 

1 

' 

i 

i 

ia 

ia 

i 

i 

ia 

ia 

i 

i 

ia 

ia 

ia 

i 

i 

ia 

ia 

v 

v 

w 

w 

v 

v 

w 

w 

v 

v 

w 

w 

w 

v 

v 

w 

w 

← 

⎟ 

⎟ 

⎠ 

⎞ 

⎜ 

⎜ 

⎝ 

⎛ 

− 

+ 

← 

⎟ 

⎟ 

⎠ 

⎞ 

⎜ 

⎜ 

⎝ 

⎛ 

− 

+ 

← 

⎟ 

⎟ 

⎠ 

⎞ 

⎜ 

⎜ 

⎝ 

⎛ 

− 

+ 

← λ 

⎟ 

⎟ 

⎠ 

⎞ 

⎜ 

⎜ 

⎝ 

⎛ 

∂ 

− 

+ 

← 

' 

) 

' 

|| 

( 

i 

i 

i 

ia 

ia 

v 

v 

v 

D 

w 

w λ


� 200 Iteration in Matlab implementiert. 



Erweiterungen der NMF 

� Sparsame Repräsentation der Basis 

� Lokale Repräsentation der Merkmale 

� Durch Erweiterung der Fehlerfunktion 

� Zum Beispiel Lokal NMF (LNMF) 

D 

⎛ 

⎜ 

⎝ 

( ) ∑ 

ij 

V || V ′ = ⎜v 

− + ′ ⎟ + ∑ + ∑ 

ij log vij 

vij 

wikwij 

ij 

v 

v′ 

ij 


⎞ 

⎟ 

⎠ 

ijk 

Merkmalsvektoren 

orthogonal. 

ij 

h 

2 

ij 

Kodierung nicht 

sparsam!

Erweiterungen der NMF 

� 25 Merkmale je 28×23 Pixel 

� Lokal NMF (LNMF) 

� Fisher NMF (FNMF) 

NMF LNMF FNMF 

Quelle: Wang u.a. 


Anwendungsbeispiele 

� Semantische Merkmalsextraktion 

oder thematische Zuordnung aus 

Texten. 

� Automatische Transkription 

polyphoner Musik 


Zusammenfassung 

� NMF ist eine Alternative zur VQ und PCA 

� Leichte Interpretierbarkeit der Merkmale 

� Einfache Implementierung. 

� Kodierungsvektor kann für Gesichtserkennung, 

Handschrifterkennung usw. 

benutzt werden. 

� Anwendungsbereich wächst 


Literatur 

Daniel Lee and Sebastian Seung: Learning the parts of objects by 

non-negative matrix factorization, 

Nature 401, 788-791 (1999). 

Daniel Lee and Sebastian Seung: Algorithms for Non-negative Matrix 

Factorization, 

Advances in Neural Information Processing Systems, vol. 13, pp. 556-562, 2001. 

Yuan Wang et al.: Fisher Non-negative Matrix Factorization for 

Learning Local Features, 

Asian Conference on Computer Vision, Korea, January 27-30, 2004. 

Patrik Hoyer: Non-negative Matrix Factorization with Sparseness 

Constraints, 

Journal of Machine Learning Research 5:1457-1469, 2004. 

Farial Shahnaz et al.: Document Clustering Using Nonnegative Matrix 

Factorization, 

To appear in the Journal on Information Processing & Management, Elsevier Preprint, 

August 2004. 

Paris Smaragdis and Judith Brown: Non-Negative Matrix Factorization 

for Polyphonic Music Transcription, 

IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2003. 


Fragen 

?

Nicht-negative Matrix-Faktorisierung (NMF) für die Mustererkennung

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?