Shlukování - eAMOS

DATA MINING
SHLUKOVÁ ANALÝZA

Shluková analýza
• podobné jako klasifikace
• třídy nejsou dané
• hledají se přirozené shluky dat (clusters)
• odkrývání přirozené struktury dat

Shluk – cluster – co to je
• a number of similar things growing together or of things or
persons collected or grouped closely together: BUNCH.
• two or more consecutive consonants or vowels in a segment
of speech.
• a group of buildings and esp. houses built close together on
a sizable tract in order to preserve open spaces larger than
the individual yard for common recreation.
• an aggregation of stars, galaxies, or super galaxies that
appear close together in the sky and seem to have common
properties (as distance).
WEBSTER dictionary

Shlukování
• Forma reprezentace dat, při které dochází za cenu jisté ztráty
informace ke snížení objemu relevantních dat
• Zpracovávaná data lze obvykle reprezentovat jako množinu X
objektů, z nichž každý obsahuje stejnou množinu A atributů.
Podle hodnot vybraných atributů jsou data dále
zpracovávána
• Speciálním případem shlukování je histogram (každý prvek
představuje jeden shluk)
• Shlukování netvoří samostatnou oblast, ale spadá do více
oblastí vědy, jako je například matematika, statistika,
numerická analýza či umělá inteligence

Shluk
Skupina objektů, které
• jsou podobné
• souvisejí spolu (jsou spolu nějak svázány)
• liší se od objektů z jiných skupin
Minimální
vzdálenosti mezi
objekty uvnitř shluku
Mezishlukové
vzdálenosti
maximální

Použití
• biologie (klasifikace zvířat a rostlin)
• meteorologie
• medicína
• marketing
• pojišťovnictví
• vyhledávání dokumentů
Srážková mapa ČR

Znázorňování shluků
Kolik shluků rozlišíme 2
6 shluků
2 shluky
4 shluky

Typy shlukování
Shlukování – vytváření množiny shluků
• hierarchické shlukování – shluky jsou hierarchicky
uspořádány
• rozdělovací (přihrádkové) shlukování – objekty (všechny)
jsou roztříděny (rozděleny) do jednotlivých přihrádek
• pravděpodobnostní shlukování – objekty jsou do skupin
rozděleny dle pravděpodobnosti

Rozdělené nepřekrývající se shluky
Původní objekty
Vyznačení shluků

Hierarchické shlukování
p1
p3
p4
p2
p1 p2 p3
p4
Tradiční hierarchické shlukování
Tradiční dendrogram
p1
p3
p4
p2
p1 p2
p3
p4
Netradiční hierarchické shlukování
Netradiční dendrogram

Pravděpodobnostní shlukování
Pro každou instanci je určena pravděpodobnost příslušnosti do
shluku
Instance C 1 C 2 C 3
x 1 0.3 0.2 0.5
x 2 0.7 0.3 0.3
x 3 0.4 0.8 0.3
x 4 0.2 0.1 0.3
x 5 0.3 0.3 0.6
…
x N 0.1 0.5 0.4

Další varianty shlukování
• nepřekrývající se (exkluzivní) a překrývající se shlukování
• fuzzy shlukování (opak je non-fuzzy)
– objekty patřící do každého shluku mají stanovenu váhu z int.
– součet vah je 1
– varianta podobná pravděpodobnostnímu shlukování
• částečné (event. úplné) shlukování
– ve speciálních případech se shlukují pouze vybraná data (ne
všechna)
• heterogenní (homogenní) shlukování
– shluky různých velikostí, tvarů a hustot

Určení vzdálenosti mezi objekty
• numerická data – nutná normalizace
• mělo by platit pro každý shluk C:
x, y C z C : dis(x,y) dis(x, z)
• numerická data, obyčejně se požadují metrická data
(trojúhelníková nerovnost)
• vzdálenosti mezi shluky – jak určit vzdálenost

Definice
Centroid
c
j
N
j 1
N
x
ji
Je dán shluk C j a x j1 , …, x jN
Cj
Poloměr (Radius)
r
j
j
N
1
( x
ji
N
c
j
2
)
Průměr (Diametr)
d
j
N N
i 1 k 1
( x
ji
N * ( N
x
1)
jk
)
2
Medoid – instance, jejíž vzdálenost
k ostatním instancím je minimální
m
j
x
ji
, x
arg
jk
i
min
C
j
N
j
k 1
dis
( x
ji
, x
jk
)

Vzdálenosti mezi shluky
• Single link – nejkratší vzdálenost mezi instancemi ze dvou
shluků
dis(C j ,C m ) = min(dis(x ji ,x mk )
x ji Cj a x mk C m ; C j C m
• Complete link – nejdelší vzdálenost mezi instancemi ze dvou
shluků
dis(C j ,C m ) = max(dis(x ji ,x mk )
x ji Cj a x mk C m ; C j C m

Vzdálenosti mezi shluky
• Average - průměrná vzdálenost mezi instancemi ze dvou
shluků
dis ( Cj , Cm )
N
j
N
m
i 1 k 1
dis ( x
N
x ji Cj a x mk C m ; C j C m ; N j = |C j |; N m = |C m |
j
ji
, x
N
m
mk
)
• Centroid – vzdálenost mezi centroidy dvou shluků
dis(C j ; C m ) = dis(c j ; c m )
• Medoid – vzdálenost mezi medoidy dvou shluků
dis(C j ; C m ) = dis(m j ; m m )

Vzdálenosti pro binární data
• koeficienty asociace - instance s binárními atributy (z
intervalu < 0; 1 >)
• založené na počtu atributů, ve kterých se shodují
• Hammingova vzdálenost
k
M
1
x
ik
XOR
M
x
jk
• Tanimotova míra rozmanitosti:
1
a
c
b
c
kde
a počet 1 v x i ,
b počet 1 v x j ,
c počet atributů,
pro které x i a x j 1

Problémy při shlukování
• odlehlé hodnoty (outliers)
– nespadají přirozeně do žádného shluku
– sám v shluku
– shluky jsou deformované
• dynamicky se měnící data
• shluky nemusí být srozumitelné
• neexistuje jedno správné řešení
• počet shluků třeba často určit dopředu

Metody shlukování
• Hierarchické metody
– aglomerativní algoritmy
– rozdělovací algoritmy
• Rozdělovací metody
– pravděpodobnostní shlukování
– k-medoids metody
– k-means metody
• Algoritmy založené na hustotě prvků
• Metody založené na mřížkách
• Jiné metody (například metody pro mnohorozměrná data, různé
metody založené na strojovém učení či metody využívající
neuronové sítě)

Hierarchické shlukování
• přístupy
– aglomerativní - zdola nahoru – slučování menších shluků
– rozdělovací – shora dolů – postupné rozdělování větších shluků
• Proces výstavby stromu shluků je zastaven po splnění určité podmínky
(typicky po dosažení určitého počtu shluků)
• Tento přístup umožňuje zkoumat data na různých úrovních granularity
Výsledkem je dendrogram - kompletní strom
– kořen – 1 shluk obsahující všechny instance
– list – shluk obsahující 1 instanci
– vnitřní uzly - shluky vzniklé spojením/rozdělením shluku (shluků)

Aglomerativní shlukování - příklad
E
A
B
C
D
F
A B C D E F

Aglomerativní shlukování
• vstup: matice sousednosti A : A[i,k] = dis(x i , x k )
• výstup: dendrogram DE je uspořádaná množina trojic
< d, c, C >
d prahová vzdálenost
c počet shluků
C množina shluků

Reprezentace dendrogramu
{< 0; 6; {{A}; {B}; {C}; {D}; {E}; {F}} >,
< 1; 4; {{A;B}; {C;D}; {E}; {F}} >;
< 2; 3; {{A;B}; {C;D; E}; {F}} >;
< 3; 2; {{A;B; C;D; E}; {F}} >
< 4; 1; {{A;B; C;D; E; F}} >}
A B C D E F

Algoritmus aglomerativního shlukování
1. Vypočti matice podobnosti objektů. Počáteční rozklad je
tvořen jednoobjektovými shluky.
2. Urči nejmenší vzdálenosti shluků v aktuální úrovni
hierarchie.
3. Sluč nejbližší shluky do jediného shluku ve vyšší úrovni
hierarchie, ostatní shluky se nemění
4. Vypočti charakteristiky shluků v aktuální hladině rozkladu
5. Pokud existuje více než jeden shluk, opakuj od bodu 2

Typy aglomerativního shlukování
• graf –
– uzly - instance
– hrany – spojení mezi instancemi vážené vzdáleností
• single link
– hledání spojených komponent - graf, kde existuje cesta
mezi každou dvojicí uzlu (nejbližší soused)
• complete link
– hledání kliček – maximální graf, kde existuje hrana mezi
každou dvojicí uzlu (nejvzdálenější soused)

Rozdělovací metody
• rozdělují datové prvky do několika podmnožin.
• obecně není možné testovat všechny kombinace rozložení
prvků do daného počtu podmnožin. Používají se proto různé
heuristiky ve tvaru iteračních optimalizací.
• v jednotlivých krocích iterace je možné využít různá relokační
schémata.
• v každém kroku se pracuje se všemi shluky – rozdělení prvků
se postupně vylepšuje.

Shlukování rozdělováním
partitional clustering
• nehierarchické shlukování
• počet shluků se určuje předem (k)
– nejmenší kostra
– k-means
– PAM a CLARA
• měření kvality rozdělení – např.
j
k
1
x
ji
C
dis ( C
j
j
,
x
ji
2
)
• vyzkoušení všech možností - složité
– pro 19 instancí a 4 shluky: 11 259 666 000 možností

Algoritmus minimální kostry
• graf
– uzly – instance
– hrany – spojení mezi instancemi s váhou rovnou
vzdálenosti
• algoritmus
– nalezení minimální kostry grafu
– odstranění k – 1 nekonzistentních hran
• nekonzistentní = nejdelší

Algoritmus minimální kostry
E
B
C
D
F
A

Algoritmus k-means clustering
• jednoduchý iterativní algoritmus
• konverguje k lokálnímu minimu
• citlivý na inicializaci – spustit vícekrát

Algoritmus k-means clustering
Pro zadané k lze algoritmus implementovat pomocí těchto čtyř
kroků:
1. Rozděl objekty do k neprázdných shluků.
2. Spočítej těžiště každého shluku při tomto rozdělení.
3. Přiřaď každý objekt do shluku, k jehož těžišti je nejblíže.
4. Pokud došlo ke změně přiřazení, opakuj od kroku 2.

Algoritmus PAM
Partitioning Around Medoids
• podobný k-means, ale shluk je reprezentovaný medoidem
• medoid se dobře se vypořádává s odlehlými hodnotami

Algoritmus PAM
• náhodně se vyber k instancí { m 1 ; …m k } představujících
medoidy shluků
• opakuj
– přiřaď instance do shluků:
x i je přiřazeno do shluku C j , pro j = arg k min dis(x i ;m k )
– najdi nové medoidy: změna medoidu může způsobit i
změnu přirazení instancí do shluků
• dokud se už m 1 ; ... ;m k nemění

Algoritmus CLARA
Clustering Large Applications
• zlepšuje výpočetní složitost (počítání vzdálenosti)
• aplikuje PAM na podmnožinu dat - nalezené medoidy
používá jako medoidy v rámci celé množiny
• na zlepšení úspěšnosti – více podmnožin je vybraných a
nakonec se použije nejlepší

Pravděpodobnostní shlukování
• cílem je najít nejvěrohodnější množinu shluku pro daná data
• instance nejsou kategoricky přiřazené do shluku, ale
příslušnost do shluku vyjadřuje pravděpodobnost
• smíšený model (angl. mixture model)