Klassifikation - Database Systems Group - Ludwig-Maximilians ...

DATABASE
SYSTEMS
GROUP
DATABASE
SYSTEMS
GROUP
Training einer SVM
zu lösen ist folgendes Problem:
Duales OP: maximiere
n
n n
) = ⎜ ∑ ∑α
i ⎟ − ∑∑
⎝ i=
1 ⎠ 2 i= 1 j=
1
i ⋅ i = y 0
i
j
i
j
( xi
x j )
⎛ ⎞ 1
L ( α
α ⋅α
⋅ y ⋅ y ⋅ K ,
n
∑
i=
1
mit Bedingung α und 0 ≤αi ≤ C
oder
T
T
⎡ 1 ⎤ ⎡ ⎡α
⎤ ⎡ ⎤ ⎡ K ( ) K(
) ⎤
1⎤
⎡α1
⎤ y1y1K ( x1,
x1)
.. y1y
nK
( x1,
xn
) ⎡ ⎡α1
⎤
⎢ ⎥ ⎢ ⎥ 1 ⎢ ⎥ ⎢
⎥
max .. ⋅ .. − .. ⋅
⋅
⎢ ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ .. .. .. ⎥ ..
2
⎢ ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢
⎥
⎣⎢⎣
1 1⎦⎥⎦ ⎣⎢⎣
α ⎢
⎦ ⎣ ⎦ K(
) K(
) ⎥
n⎥⎦
⎢⎣ αn
⎥⎦ y n
n ⎢⎣
⎢⎣ ⎥⎦
⎥⎦
⎣ n y1K
( x , x1)
.. yn
ynK
( x , xn
) α
⎦ n
∑
i=
1
∑ n
mit it Bedingung B di α ⋅ = 0 und d 0 ≤≤ α i ≤≤ C
i i y
Training einer SVM
zur Lösung: g
• Standardalgorithmen aus der Optimierungstheorie für
konvexe quadratische Probleme
• für große Trainingsmengen numerische Algorithmen
notwendig
• es existieren einige g Spezialalgorithmen p g für SVM-Training: g
• Chunking / Decomposition
• Sequential Minimal Optimisation (SMO)
113
114