Analisis Multivariado 1 (Apunte basado en notas de clases del ...

mida la distancia de g(X) a Y de modo tal de penalizar los errores de
prediccion
L(Y, g(X))
siendo la funcion de perdida clasica la funcion de perdida cuadratica
L(Y, g(X)) = [Y − g(X)] 2
Un critrio razonable para elegir la funcion g es pedir minimizar
el valor esperado de la funcion de perdida, es decir, el error esperado
de prediccion es en este caso el Error Cuadratico de Prediccion de la
funcion g
ECP (g) = E (L(Y, g(X))) = E [Y − g(X)] 2 ˆ
= [Y − g(X)] 2 f(X, Y ) =
= EXE Y/X([Y − g(X)] 2 | X)
como en la practica el vector X esta fijo (X = x), tiene sentido
condicionar a X, por lo que la funcion buscada ˆg(X) es la que minimiza,
para cada x, la esperanza en Y (dado X = x)
ˆg(x) = argminEY/X([Y
− c]
c
2 | X =x)
y el valor c que satisface esto es la esperanza condicional
ˆg(x) = EY (Y | X =x)
pues la esperanza condicional es el valor que minimiza el error
cuadratico esperado. A esta funcion se la denomina genericamente
Funcion de Regresion.
20.2 Variable Y categorica
Supondremos ahora que la variable Y puede tomar los valores Y =
1, 2, . . . , k, es decir, existen k poblaciones a las que pueden pertenecer
las observaciones. Asi las funciones predictoras f : R d → {1, 2, . . . , k}
toman valores enteros. En este caso la funcion de densidad conjunta
del vector X e Y es
f(X, Y ) = P r(X = x,Y = i) = P r(X = x|Y = i)P r(Y = i) = fi(X)πi
con i ∈ {1, 2, . . . , k} ,donde
fi(X) es la funcion de densidad de las variables explicativas de la
poblacion i-esima.
πi la probabilidad, a priori, que un elemento pertenezca a la poblacion
i-esima.
52