Analisis Multivariado 1 (Apunte basado en notas de clases del ...

Hay que definir una funcion de perdida conveniente para este problema.
En general podriamos pensar que si la funcion g predice el
verdadero valor de Y la perdida debiera ser 0, y el error para los demas
casos dependera del verdadero valor Y = i y del valor predicho
g(X) = j. En los problemas de clasificacion a la funcion de perdida
se la conoce en general cmo funcion de costos C(.) (de mala clasificacion).
Esta funcion es aleatoria, pues depende tanto del vector X
como de Y , asi definimos
L(Y, g(X)) =
k
i=1 j=1
k
C(j|i)I(Y = i)I(X ∈ Rj)
Es fundamental notar que la sentencia g(X) = j es equivalente
a I(X ∈ Rj) = 1, de esta manera la definicion de un metodo de
clasificacion (g(.)) establece una particion del espacio R d en k regiones
ℜ = (R1, R2, . . . , Rk) tales que R d = ∪ i Ri con Ri ∩Rj = Ø para i = j.
Calculemos ahora el error esperado de prediccion
EP (g) = E (L(Y, g(X))) =
⎡
k
E ⎣
k
i=1 j=1
k
i=1 j=1
i=1 j=1
k
C(j|i)E [I(Y = i)I(X ∈ Rj)] =
⎤
k
C(j|i)I(Y = i)I(X ∈ Rj) ⎦ =
k
i=1 j=1
k
C(j|i)P r (X ∈ Rj|Y = i)) P r(Y = i) =
´ . . . ´
x∈R
k
j=1 I(X ∈ Rj) k
i=1 C(j|i)πifi(x)dx =
k
C(j|i)P r [Y = i, X ∈ Rj] =
k
k
i=1 j=1
ˆ
ˆ
. . .
x∈R
ˆ
C(j|i)
ˆ
. . .
x∈Rj
donde hj(x) = k i=1 C(j|i)πifi(x) =
i=j C(j|i)πifi(x) solo depende
de x. Es importante notar que el metodo de clasificacion se
halla determinado por la expresion I(X ∈ Rj), que define la particion.
Por lo tanto
EP (g) = E (L(Y, g(X))) =
ˆ
ˆ
. . .
x∈R
fi(x)dxπi =
k
I(X ∈ Rj)hj(x)dx
j=1
k
I(X ∈ Rj)hj(x)dx
Ahora vamos a ver que para encontrar la particion que minimice esta
expresion alcanza con elegir, para cada x, la region (j) que minimice
hj(x), es decir que la regla de clasificacion optima sera
recordando que
j=1
x ∈ Rj ⇔ hj(x) = min
i∈{1,2,...,k} hi(x)
53