Klassifikation - Database Systems Group - Ludwig-Maximilians ...

DATABASE
SYSTEMS
GROUP
Maximum Margin Hyperplane
Berechnung der Maximum Margin Hyperplane
1. Bedingung: kein Klassifikationsfehler (Klasse1: yi=1,Klasse 2:yi=-1) ( y 1)
[ , ] 0⎫
i = − ⇒ w x i + b < ⎪
⎬ ⇔ yi
[ w,
xi
( yi
= 1)
⇒ [ w,
xi
+ b]
> 0 ⎪⎭
+ b ] > 0
22. BBedingung: di Maximaler M i l Rand R d (Margin) (M i )
( )
maximiere: ξ ξ = min
x i∈TR
oder
1
w,
w
w , x i + b (Abstand von x i zur Ebene H ( w w,
b ) )
⎡ ⎛
⎞ ⎤
⎢ ⎜ 1
⎟ ⎥
maximiere: ξ , so dass ⎢ yi ⎜ [ w,
xi
+ b]
⎟ ≥ ξ ⎥ für ∀i ∈ [1..n]
⎢ ⎜ ww,
, w
⎟ ⎥
⎣ ⎝
⎠ ⎦
DATABASE
SYSTEMS
GROUP
Maximum Margin Hyperplane
ma imiere ξ in [ ] ⎥ für ∀i [1 n]
⎥⎤
⎡ ⎛
⎞
⎢ ⎜ 1
⎟
maximiere ξ in ⎢ y yi ⎜ [ w w,
x xi
+ b b]
⎟ ≥ ≥ξξ
⎥ ; für ∀i ∈ [1..n]
⎢ ⎜ w,
w ⎟ ⎥
⎣ ⎝
⎠ ⎦
1
Setze = ξ : max. , mit ⋅ ξ ⋅ w,
x + b ≥ ξ ∀i ∈ [1..n]
w, w
1
1
w, w
( yi ( w,
xi
+ b ) ≥1
)
( yi ( ( i ) )
⇒ max. , mit ∀i ∈ [1..n]
1
w, w
Statt invertiere, invertiere quadriere und minimiere das Ergebnis:
w, w
Primäres OP: minimiere
J ( w,
b ) = w,
w
unter Nebenbedingung g g für ∀i ∈ [1..n] [ ] sei ( y i
( w , x i +b ) ≥1
)
99
100