Distribución Gaussiana Multivariable

Distribución Gaussiana Multivariable
Carlos Belaustegui Goitia, Juan Augusto Maya
8 de Agosto de 2010
Resumen
En este documento presentamos la deducción de la expresión de la función
densidad de probabilidad (f.d.p.) Gaussiana multivariable. También se muestran
ejemplos de variables aleatorias conjuntamente Gaussianas y de otras
variables aleatorias que no lo son. Para terminar mostramos una interpretación
gráfica de la distribución Gaussiana multivariable.
1. La Distribución Gaussiana Multivariable
A continuación, obtendremos la expresión de la f.d.p. de un vector aleatorio
X = [X1,...,XN] T
cuyas componentes son conjuntamente Gaussianas1 , de media nula y matriz de
covarianza CX.
Definimos un vector Z de N variables aleatorias Gaussianas independientes,
idénticamente distribuidas (i.i.d.) Z = [Z1,...,ZN] T , cada una de ellas con media
nula y varianza σ2 i. El hecho que las zi estén idénticamente distribuidas significa que
sus funciones distribución son iguales, y por lo tanto, sus funciones de densidad de
probabilidad y sus momentos son los mismos. En particular, esto se cumple para la
varianza: σ2 1 = ··· = σ2 N = σ2 . La f.d.p. de la variable zi es
fZi (zi)
exp −
=
z2 i
2σ2
√ i = 1,...,N
2πσ
y la f.d.p. del vector Z es
fZ(z) =
N
i=1
fZi (zi) =
1
(2π) N/2 exp
σN
−
N i=1z2 i
2σ2
=
1
(2π) N/2
exp −
σN z2
2σ2
.
(1)
La primera igualdad se debe a que las variables aleatorias zi son independientes, y
por ello, la f.d.p. conjunta es el producto de las f.d.p. individuales.
1 En la siguiente sección veremos cuándo un grupo de variables aleatorias es conjuntamente
Gaussiano y cuando, no.
1

La matriz de covarianza de Z es una matriz diagonal de dimensión N × N:
CZ = σ 2 IN, ya que las componentes de Z son independientes, y por lo tanto, no
correlacionadas o descorrelacionadas.
Ahora definimos la siguiente transformación lineal,
X = AZ, (2)
donde la matriz A ∈ R N×N es no singular o invertible. La matriz de covarianza de
X es
CX = E[XX T ] = E[AZZ T A T ] = AE[ZZ T ]A T = ACZA T = σ 2 AINA T = σ 2 AA T
Entonces, la matriz σA es la raíz cuadrada simétrica de la matriz de covarianza
de X: σA = C 1/2
X , que existe puesto que CX es definida positiva.
La f.d.p. del vector X se obtiene mediante la transformación
fX(x) = fZ(z(x))
|detJ(x)|
donde J(x) es el Jacobiano del vector x,
J(x) = ∂(x)
∂(z) =
⎡ ⎤ ⎡
∇x1
⎢ ⎥ ⎢
⎣ . ⎦ = ⎣
∇xN
Utilizando esta expresión,
∂x1
∂z1
.
∂xN
∂z1
∂x1
∂z2
∂xN
∂z2
J(x) = A = C1/2
X
σ
1/2
(detCX)
detJ(x) =
σN .
Por otro lado, en el exponente de (1) aparece
z 2 = z T z = A −1 x T A −1 x = x T A T −1 A −1 x = x T AA T −1 x =σ 2 x T C −1
X x
y la f.d.p. de X queda
fX(x) =
1
(2π) N/2 exp 1/2
(detCX)
...
...
∂x1
∂zN
∂xN
∂zN
⎤
⎥
⎦.
− 1
2 xTC −1
X x
. (3)
Si la media de X es E(X) = mX = 0, tenemos que redefinir el cambio de variable
en (2) utilizando una transformación que ya no es lineal sino afín,
Entonces, Z = A −1 (X−mX) y la f.d.p. queda
fX(x) =
1
(2π) N/2 exp 1/2
(detCX)
X = AZ+mX. (4)
2
− 1
2 (x−mX) T C −1
X (x−mX)
(5)

2. Independencia y Correlación
En esta sección abordaremos el tema de correlación e independencia estadística 2
de variables aleatorias. De manera general, dos o más variables aleatorias independientes
entre sí están descorrelacionadas. Esto se cumple para variables aleatorias
con cualquier tipo de distribución. Para demostrarlo, definimos N variables aleatorias
A1,A2,...,AN independientes y nos proponemos calcular la covarianza de dos
variables aleatorias cualesquiera. Sea mAi = E[Ai], la covarianza de Ai y Aj es
CAi,Aj = E[(Ai −mAi )(Aj −mAj )]
∞ ∞
i = j (6)
=
−∞
(ai −mAi
−∞
)(aj
∞
−mAj )fAi,Aj (ai,aj)daidaj
∞
(7)
=
indep.
(ai −mAi )fAi (ai)dai
−∞
(aj −mAj
−∞
)fAj (aj)daj (8)
= E[Ai −mAi ]E[Aj −mAj ] (9)
= 0. (10)
Entonces, el coeficiente de correlación es
ρ = CAi,Aj
σAi σAj
= 0.
Por lo tanto, las variables aleatorias Ai y Aj están descorrelacionadas ∀i = j. Adicionalmente,
esto implica que la matriz de covarianza del vector aleatorio definido
como A = [A1,A2,...,AN] es diagonal, es decir,
Entonces, en general se cumple,
CA = diag[σ 2 A1 ,...,σ2 AN ]. (11)
Independencia ⇒ Descorrelación
En cambio, no siempre es cierto que la descorrelación de variables aleatorias implica
que ellas son independientes. Un caso para el cual sí se cumple esto es cuando
las variables aleatorias son conjuntamente Gaussianas. Se dice que N variables aleatorias
X1,X2,...,XN son conjuntamente Gaussianas si su distribución conjunta es
la distribución Gaussiana multivariable, es decir, la f.d.p. conjunta es (5).
Sean X1,X2,...,XN N variables aleatorias conjuntamente Gaussianas descorrelacionadas,
entonces X1,X2,...,XN son independientes. Para comodidad de notación,
definimos los siguientes vectores aleatorios: X = [X1,X2,...,XN] y X0 =
X−mX, donde mX = E[X]. La i-ésima componente de X0 es X0i = Xi −mXi . La
2 Siempre que hablemos de independencia nos referiremos a independencia estadística, salvo que
se indique lo contrario.
3

f.d.p. de X es (5) con CX = diag[σ2 X1 ,...,σ2 ]. Entonces, XN
fX(x) =
=
=
(2π) N/2
N
i=1
N
i=1
1
N
i=1 σXi
1
√ exp
2πσXi
exp
− 1 x
2
2 0i
σ2
Xi
− 1
2
N
i=1
x 2 0i
σ 2 Xi
(12)
(13)
fXi (xi) (14)
La última igualdad implica que las Xi’s son independientes. Entonces, para el caso
de variables aleatorias conjuntamente Gaussianas,
Independencia ⇔ Descorrelación
3. Interpretación Geométrica
Es conveniente interpretar esta expresión para un vector bidimensional X =
[X1,X2] T de media nula y matriz de covarianza
σ
CX =
2
1 ρσ1σ2
,
ρσ1σ2 σ 2 2
donde ρ es el coeficiente de correlación entre X1 y X2, y σ 2 1, σ 2 2 son sus varianzas. La
forma de la superficie fX(x) = fX1X2(x1,x2) está determinada por el exponente de
(3), ya que el factor que multiplica la exponencial es constante. La intersección de
esta superficie con un plano de f.d.p. constante, es una curva de nivel definida por
x T C −1
X x−K = 0 (15)
con K constante. Puesto que CX es definida positiva, su inversa también lo es, y
la forma cuadrática xTC −1
X x es siempre positiva para cualquier vector x no nulo.
La ecuación (15) define una elipse en el plano (x1,x2), que llamamos elipse de concentración.
La excentricidad e inclinación de los ejes de la elipse depende de los
parámetros de la matriz de covarianza. En el caso de trabajar con N variables aleatorias,
el espacio pasa a ser N-dimensional y la ecuación (15) representa un elipsoide
de concentración.
A continuación analizamos dos casos en dos dimensiones: variables aleatorias
Gaussianas correlacionadas y descorrelacionadas.
3.1. Variables Aleatorias Correlacionadas
En la Fig. 1 se muestran gráficos correspondientes a dos variables aleatorias
conjuntamente Gaussianas, de media nula, varianzas unitarias y coeficiente de correlaciónnonulo,yaquelasvariablesaleatoriasestáncorrelacionadas.Enparticular,
elegimosρ = 0,8.EnlaFig.1(a)semuestralaf.d.p.conjuntade(X1,X2)yenlaFig.
4

fX(x1,x2)
0.4
0.3
0.2
0.1
0
4
2
0
x2
−2
−4
−4
(a) Función densidad de probabilidad Gaussiana bivariable.
x2
4
3
2
1
0
−1
−2
−3
−2
x1
−4
−4 −2 0 2 4
x1
(b) Elipses de concentración y realizaciones () de (X1,X2).
Figura 1: Gaussiana bivariable con los siguientes parámetros: ρ = 0,8 y σ1 = σ2 = 1.
1(b) se muestran las elipses de concentración y 10 3 realizaciones (o experimentos)
del par de variables aleatorias (X1,X2).
En estas figuras se puede ver el significado de la correlación de dos variables. En
la sección anterior vimos que para variables aleatorias conjuntamente Gaussianas se
cumple: Independencia ⇔ Descorrelación. Esto es lo mismo que decir: Dependencia
⇔ Correlación. Entonces, dado que ρ = 0, las variables X1 y X2 son dependientes.
Es decir, condicionar una de las variables a la otra cambia la distribución de
probabilidades,
fX2|X1(x2|x1) = fX2(x2).
Es claro que para distintos valores de x1, la f.d.p. condicional cambia por lo que X1
5
0
2
4

y X2 son dependientes. Por ejemplo,
P(X2 > 0|X1 = 2) > P(X2 > 0)
con lo cual el hecho de conocer el valor de una de las realizaciones de X1 modifica
la probabilidad del evento X2 > 0.
3.2. Variables Aleatorias Descorrelacionadas
En la Fig. 2 graficamos la f.d.p. y realizaciones de dos variable aleatorias conjuntamente
Gaussianas descorrelacionadas (ρ = 0) y, por lo tanto, independientes.
fX(x1,x2)
0.2
0.15
0.1
0.05
0
10
5
0
x2
−5
−10
−10
(a) Función densidad de probabilidad Gaussiana bivariable.
x2
6
4
2
0
−2
−4
−5
x1
−6
−6 −4 −2 0 2 4 6
x1
(b) Elipses de concentración y realizaciones () de (X1,X2).
Figura 2: Gaussiana bivariable de componentes descorrelacionadas con los siguientes
parámetros: ρ = 0, σ1 = 1 y σ2 = 2.
6
0
5
10

Condicionar una variable sobre otra no cambia la distribución de probabilidades.
Las curvas de nivel de la f.d.p. mostradas en la Fig. 2(b) son elipses centradas en el
origen cuyos ejes coinciden con los ejes de x1 y x2, algo que se debe cumplir para
que X1 y X2 sean independientes. El hecho de que sus varianzas sean distintas sólo
modifica la excentricidad de las elipses de concentración pero no la relación entre
las variables.
4. Casos Particulares
En esta sección analizamos varios ejemplos para los cuales las f.d.p. marginales
son Gaussianas pero la conjunta no es la Gaussiana multivariable, es decir, que
las variables aleatorias no son conjuntamente Gaussianas. No alcanza con que las
distribuciones marginales sean Gaussianas para que las variables aleatorias sean
conjuntamente Gaussianas.
Ejemplo 1. Sea X una variable aleatoria Gaussiana de media nula y varianza
unitaria, definimos otra variable aleatoria Y tal que,
X si |X| > c
Y =
(16)
−X si |X| ≤ c
Es claro que Y es Gaussiana debido a la simetría de la f.d.p. alrededor de 0. Sin
embargo, como puede apreciarse en la Figura 3 a través de varias realizaciones de
(X,Y), la conjunta no es la Gaussiana multivariable.
y
3
2
1
0
−1
−2
−3
−3 −2 −1 0 1 2 3
Figura 3: (Ejemplo 1) 500 realizaciones de (X,Y) definidas por (16) para c ≃ 1,54.
Incluso, se puede demostrar que las variables X e Y se encuentran descorrelacionadas.
Sin embargo, esto no implica que las variables sean independientes ya que
no son conjuntamente Gaussianas.
7
x

Ejemplo 2. Sea X una variable aleatoria Gaussiana de media nula y varianza
unitaria. Sea W una variable aleatoria Bernoulli equiprobable e independiente de
X,
W =
Definimos una nueva variable aleatoria
1 p = 0,5
−1 p = 0,5
(17)
Y = WX. (18)
De manera similar al caso anterior y debido a la simetría de la f.d.p. Gaussiana, Y
es Gaussiana. Sin embargo, como puede apreciarse en la Fig. 4 a través de varias
realizaciones de (X,Y), la conjunta no es la Gaussiana multivariable.
y
4
3
2
1
0
−1
−2
−3
−4
−4 −2 0 2 4
Figura 4: (Ejemplo 2) 500 realizaciones de (X,Y) definidas por (18).
Calculemos el coeficiente de correlación entre X e Y. Para eso, necesitamos
primero realizar algunos cálculos. La media de W es,
y la media de Y es,
mW = E[W] = (1)(0,5)+(−1)(0,5) = 0,
mY = E[Y] = E[WX] =
indep. E[W]E[X] = 0,
Finalmente, la covarianza entre X e Y es,
CXY = E[(X −mX)(Y −mY)] =
mX=mY =0 E[XY] = E[WX2 ] = E[W]E[X 2 ] =
mW=0 0,
Por lo que X e Y están descorrelacionadas. Sin embargo, al igual que el ejemplo
anterior, las variables no son independientes ya que, por definición de Y en (18), su
valor absoluto depende de X. Nuevamente, X e Y no son conjuntamente Gaussianas
y, por lo tanto, descorrelación no implica independencia.
8
x

5. Diagonalización de la Matriz de Covarianza
Buscamos la matriz de transformación P tal que el vector aleatorio Y = PX
tenga una matriz de covarianza CY diagonal:
⎡ ⎤
CY =
⎢
⎣
σ 2 1 ... 0
.
...
.
0 ... σ 2 N
Los elementos de la diagonal principal de CY son las varianzas de las componentes
de Y. En otros términos, lo que se busca es una transformación lineal que descorrelacione
las componentes de X.
Imponemoslacondicióndepreservarlanormadelvector,esdecirx 2 = y 2 =
y T y = x T P T Px, lo que implica que P T = P −1 (matriz ortogonal). Una transformación
de este tipo es una rotación. Por conveniencia, definimos Q = P T = P −1 .
Entonces,
⎥
⎦
CY = PCXP T = PCXP −1 = Q −1 CXQ
QC Y = CXQ
Por la forma diagonal de CY, esto implica
qiσ 2 i = CXqi i = 1,...,N,
donde qi es la i-ésima columna de Q. Esto es, Q es una matriz de autovectores de
CX y las varianzas de las componentes de Y son los autovalores de CX.
Por ser CX definida positiva, todos sus autovalores son reales y positivos, como
corresponde a las varianzas de variables aleatorias reales. Por ser una matriz real
y simétrica, todos sus autovectores son ortogonales. Pueden ser normalizados para
tener así una base ortonormal. Las matrices CX y CY se dicen similares, pues existe
una matriz de transformación Q de N ×N con detQ = 0 tal que Q−1CXQ = CY. La transformación ahora se puede escribir
⎡ ⎤
Y = Q T X =
⎢
⎣
q T 1
.
q T N
⎥
⎦X
Es decir, las nuevas variables descorrelacionadas se obtienen proyectando el vector
X en la dirección de los autovectores de la matriz de covarianza CX. La interpretación
gráfica de esta transformación se ve en la Fig. 5. Los ejes principales de
la elipse están alineados con los autovectores, que definen un nuevo sistema de ejes
coordenados. En ese nuevo sistema, las componentes del vector aleatorio no están
correlacionadas.
6. Ejercicios
Ejercicio √ 1. Demostrarquelosejesprincipalesdelelipsoidedeconcentraciónmiden
2σi K, donde K es la constante de la ecuación (15).
9

y2
ay2
q2
ax2
x2
Figura 5: Diagonalización de la matriz de covarianza.
Ejercicio 2. Demostrar que en el sistema transformado, la ecuación (15) se escribe
Interpretar esta expresión.
N
i=1
y2 i
σ2 i
q1
a
ax1
−K = 0
Ejercicio 3. Generar 500 puntos de coordenadas (X1,X2) conjuntamente Gaussianas,
con matriz de covarianza
1 ρ
CX =
ρ 1
para distintos valores del coeficiente de correlación ρ (Por ejemplo: 0.50, -0.90, 0.0).
Sugerencia: Generar dos secuencias de 500 números aleatorios normales, de media
nula y varianza unitaria mediante la función randn:
Z = (randn(1,500);randn(1,500));
Aplicar a los vectores Z(i,:) así generados, la transformación lineal X=A*Z;
donde A es una matriz de 2×2 apropiada.
Ejercicio 4. Demostrar que la f.d.p. de dos variables X1,X2 conjuntamente Gaussianas,
de media nula, varianza σ2 y coeficiente de correlación ρ se puede escribir
1
fX1X2(x1,x2) =
2πσ2
−1
exp
1−ρ 2 2σ2 (1−ρ 2 2
x1 −2ρx1x2 +x
)
2 2
Ejercicio 5. Demostrar que las marginales de una Gaussiana son Gaussianas para
el caso bivariable.
Ejercicio 6. Sean X1,X2,...,XN, N variables aleatorias Gaussianas independientes.
Demostrar que su distribución conjunta es la Gaussiana multivariable, es decir,
X1,X2,...,XN son conjuntamente Gaussianas.
10
ay1
y1
x1