Tema: Capacidad de Canal

Tema: Capacidad de Canal
Adriana Dapena Janeiro (adriana@udc.es)
Facultad de Informática
Universidade da Coruña
Campus de Elviña s/n
15071. A Coruña
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 1

Objetivos
Presentar el concepto de capacidad del canal.
Estudiar el caso de canales SISO:
Canales AWGN.
Canales con desvanecimiento plano.
CSI en recepción.
CSI en recepción y en transmisión.
Canales con desvanecimiento selectivo en frecuencia.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 2

Bibliografía recomendada
A. Goldsmith, Wireless Communications, Cambridge University
Press, 2005.
http://wsl.stanford.edu/andrea/Wireless/
C. E. Shannon, “A mathematical theory of communication,” Bell
System Technical Journal, vol. 27, pp. 379-423 and 623-656, July
and October, 1948.
http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html
A. Goldsmith, P. P., Varaiya, “Capacity of fading channels with
Channel Side Information,” IEEE Trans. on Information Theory,
vol. 43, no. 6, pp. 1986-1992, November, 1997.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 3

Conceptos básicos
Cantidad de información
Entropía
Entropía conjunta
Información mutua
Capacidad de canales discretos sin
memoria
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 4

Cantidad de información
Sea x una variable aleatoria que toma valores discretos xk en un
alfabeto X con probabilidad p(xk), p(xk) = 1.
El valor de p(xk) expresa la probabilidad de que ocurra un
determinado valor xk pero también nos está indicando la
cantidad de información que se adquiere cuando ese valor es
observado.
Si p(x2) > p(x1), entonces es mayor la incertidumbre sobre el
evento x = x1 que sobre x = x2 y, por ello, también es mayor la
información que se adquiere cuando éste ocurre.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 5

Cantidad de información (cont.)
La cantidad de información adquirida al observar xk está
relacionada con la inversa de su probabilidad y se define como
sigue:
I(xk) = log
1
p(xk)
donde la base del logaritmo es arbitraria.
= − log(p(xk))
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 6

Entropía
La cantidad media de información de x recibe el nombre de
entropía: H(x) = E[I(xk)] = −
x∈X p(x) log(p(x)) = −E[log p(x)]
H(x) = 0 si la variable aleatoria x describe un proceso
determinista.
H(x) es máxima cuando la variable aleatoria es uniforme,
H(x) = − log(|X |) donde |X | es el tamaño del alfabeto de x.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 7

Entropía conjunta
Consideremos que tenemos un sistema cuya entrada x toma
valores en un alfabeto X y su salida y es una versión perturbada de
x que toma valores en otro alfabeto Y.
Entropía conjunta:
H(x, y) = −
x∈X
y∈Y
p(x, y) log(p(x, y)) = −E [log(p(x, y))]
donde p(x, y) es la probabilidad conjunta de ambas variables
aleatorias.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 8

Información mutua
Incertidumbre sobre la entrada que permanece sin resolver
después de observar la salida H(x|y) = H(x, y) − H(y)
Incertidumbre sobre la salida que no es resuelta al observar la
entrada (perturbación) H(y|x) = H(x, y) − H(x)
Información mutua I(x; y) =
p(x,y)
x∈X y∈Y p(x, y) log p(x)p(y)
H(x)
H(x|y)
H(x,y)
I(x,y)
H(y|x)
H(y)
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 9

Resumen
Entropía
H(x) = −
x∈X p(x)log(p(x))
Entropía conjunta
H(x, y) = −
p(x, y)log(p(x, y))
x∈X
y∈Y
Entropía condicionada
H(x|y) = −
p(x, y)log(p(y|x))
I(x; y) =
x∈X
y∈Y
Información mutua
x∈X
y∈Y p(x, y)log p(x,y)
p(x)p(y)
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 10

Capacidad de un canal CDM
Un Canal Discreto sin Memoria (CDM) es un sistema que
consiste en un alfabeto de entrada X y un alfabeto de salida Y
que son conjuntos finitos numerables y cuyos elementos están
relacionados por una colección de funciones de masa de
probabilidad (ff.m.p.) condicionales, p(y|x) ≥ 0, que expresan la
probabilidad de que se observe la señal y ∈ Y a la salida del
sistema cuando la entrada es x ∈ X .
La capacidad de información del canal (X, p(y|x), Y) se define
como
C = max I(x; y)
p(x)
donde el máximo se toma sobre todas las posibles ff.m.p. p(x).
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 11

Canal binario sin ruido
x = 0
1
y = 0
1
x = 1 y = 1
p(y = 0|x = 0) = 1, p(y = 1|x = 0) = 0,
p(y = 0|x = 1) = 0, p(y = 1|x = 1) = 1
Al no haber errores tampoco hay incertidumbre H(x|y) = 0.
C = max
p(x)
I(x; y) = max
p(x)
H(x) − H(x|y) = max
p(x) H(x)
El valor máximo se alcanza para una distribución uniforme y es
C = log 2 2 = 1bit. Se puede transmitir la máxima información
posible de la fuente.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 12

Canal binario simétrico
x = 0
1−p
p
y = 0
x = 1
p
1−p
y = 1
Supongamos que la fuente produce símbolos equiprobables a una
velocidad de 1000 bits/seg. Si durante la transmisión el canal
introduce errores de forma que (en media) la mitad de los bits
recibidos son incorrectos (p = 1/2)
¿Cuál es la velocidad de transmisión? ¿500 bits/seg?
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 13

Canal binario simétrico .....
x = 0
1−p
p
y = 0
x = 1
p
1−p
y = 1
p(y = 0|x = 0) = 1 − p, p(y = 1|x = 0) = p,
p(y = 0|x = 1) = p, p(y = 1|x = 1) = 1 − p.
La capacidad es C = max p(x)(H(y) − H(y|x)) = 1 − H(p) con
H(p) = −(1 − p) log(1 − p) − p log p.
H(p) resta bits de información: cuanto más impredecible sea el
error menor será la capacidad.
Para p = 0 (o p = 1) estamos en el caso sin ruido: C = 1bit.
Para p = 1/2, la salida es completamente aleatoria C = 0bit.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 14

Canal híbrido (ejercicio)
x = 0
x = 1
x = 2
1
1−p
p
p
1−p
y = 0
y = 1
y = 2
Suponemos p(x = 0) = P , p(x = 1) = p(x = 2) = Q tal que
P + 2Q = 1.
H(x) = −P log P − 2Q log Q.
H(x|y) = 2Qα con α = H(p) = −(1 − p) log(1 − p) − p log p.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 15

Canal híbrido (cont.)
Calcular P y Q que maximice C = H(x) − H(x|y) es
equivalente a calcular los máximos del Lagrangiano:
L = −P log P − 2Q log Q − 2Qα − λ(P + 2Q − 1)
Los valores obtenidos son:
P = βQ = β/(2 + β), Q = 1/(2 + β)
con β = e α (para una base e cualquiera).
Para p = 0 (o p = 1), la capacidad del canal es máxima
C = log 3.
Par p = 1/2, la capacidad es C = log 2.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 16

Capacidad de un canal AWGN
Modelo del canal
Cálculo de la capacidad
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 17

Modelo de un canal AWGN
Vamos a considerar el siguiente modelo de un canal AWGN
(Additive White Gaussian Noise):
x[i] es la señal transmitida en el instante i.
n[i] es un ruido blanco gaussiano: media cero, densidad
espectral de potencia Sn(f) = N0
2 , función de autocorrelación
RN(τ) = N0
2 δ(τ).
y[i] = x[i] + n[i] es la señal recibida en el instante i.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 18

Capacidad de un canal
AWGN....
Sean Pr, Pn y Pt + Pn, respectivamente, la potencia de recibida de
la señal transmitida, potencia del ruido y la potencia total recibida.
Si el canal es de banda limitada a B Hz (ancho de banda 2B), las
entropías en bits/seg vienen dadas por:
Por tanto, la capacidad es
H(y) = B log(4π(Pr + Pn))
H(n) = B log(4πPn)
C = H(y) − H(y|x) = H(y) − H(n) = B log(1 + Pr/Pn)
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 19

Capacidad de un canal AWGN
(cont.)
Definiendo la relación señal a ruido (SNR) como γ = Pr/Pn
obtenemos:
C = B log(1 + γ)
Como el ruido tiene densidad espectral de potencia N0/2, la
potencia total en un ancho de banda 2B es
Pn = 2B × (N0/2) = N0B.
Por tanto, γ = Pr/(N0B).
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 20

Ejemplo.....
Supongamos que la potencia recibida de la señal viene dada por
Pr(d) = Pt(d0/d) 3 donde d0 = 10m y d es la distancia entre
transmisor y receptor, N0 = 10 −9 W/Hz y B = 30kHz. La figura
muestra la relación señal a ruido γ = Pt(d)/Pn (dB) y la capacidad
del canal para distancias entre 100m y 1Km y Pt = 1W (potencia en
transmisión).
SNR (dB)
20
15
10
5
0
−5
−10
−15
100 200 300 400 500 600 700 800 900 1000
distancia d
Capacidad (kbps)
160
140
120
100
80
60
40
20
0
100 200 300 400 500 600 700 800 900 1000
distancia d
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 21

Canales con desvanecimiento
plano
Modelo de canal
Capacidad con CSI en recepción.
Capacidad con CSI en recepción y en
transmisión.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 22

Modelo de canal
El término g[i] ≥ 0 es una ganancia que modelaremos con un
proceso estacionario ergódico con distribución p(g).
S es la potencia media de la señal transmitida.
N0/2 es la densidad espectral de potencia del ruido.
B es el ancho de banda del canal.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 23

Modelo de canal (cont.)
Valor instantáneo de la SNR en recepción:
γi = Sg[i]
N0B
Valor medio de la SNR en recepción:
γ = Sg
N0B
Consideraremos dos casos:
CSI en recepción.
CSI en recepción y en transmisión.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 24

CSI en recepción
Suponemos que el receptor conoce g[i] para cada instante i.
Capacidad de Shannon (ergódica)
C =
∞
0
B log(1 + γ)p(γ)dγ
Se cumple C ≤ CAWGN = B log(1 + γ).
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 25

CSI en recepción (cont.)
Capacidad con outage
Máxima velocidad a la que se puede transmitir sobre el canal
admitiendo que puede decodificarse incorrectamente con una
cierta probabilidad pout.
Suponemos que la SNR en recepción, γ, es constante durante
un intervalo de tiempo.
El transmisor fija un valor de SNR mínimo (en recepción), γmin,
y transmite a una velocidad cercana a la capacidad para ese
valor
C = B log(1 + γmin)
Los datos serán correctamente recibidos si γ > γmin.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 26

CSI en recepción (cont.)
Capacidad con outage
Se define la probabilidad de outage como
pout = p(γ < γmin) =
La capacidad promedio es
γmin
0
p(γ) = P(γmin)
Co = (1 − pout)B log(1 + γmin)
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 27

CSI en recepción (cont.)
Capacidad con outage
Curva de Capacidad/B en función de la probabilidad de outage.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 28

Ejemplo....
Vamos a calcular la capacidad de un canal con desvanecimiento
plano que introduce las siguientes ganancias:
g[i] g[1] = 0.025 g[2] = 0.25 g[3] = 10
p(g[i]) 0.1 0.5 0.4
Pt = 10mW , N0 = 10 −9 W/Hz y B = 30kHz.
SNR en recepción:
Supongamos
γ1 = 0.833(−0.79dB) γ2 = 83.333(19.2dB) γ3 = 333.33(25dB)
Su capacidad es: C = 3
k=1 B log(1 + γk)p(γk) = 151.58kbps
Capacidad de un canal AWGN con γ = 137.58 (21.80dB):
CAWGN = B log(1 + 137.58) = 213.43kbps
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 29

Ejemplo (cont.)
Probabilidades de las SNR en recepción::
γi γ1 = 0.833 γ2 = 83.333 γ3 = 333.33
p(γ) 0.1 0.5 0.4
pout = P(γ) 0.1 0.6 1
Capacidades C = B log(1 + γi) para γi:
γi γ1 = 0.833 γ2 = 83.333 γ3 = 333.33
C 26.23 kbps 191.94 kbps 251.55 kbps
Para pout = P(γ1 = 0.1), podemos transmitir a velocidades
cercanas a C = 191.94kbps pero solamente decodificaremos
correctamente cuando la SNR sea γ2 o γ3. La capacidad real
es Co = (1 − 0.1)191.94kbps = 172.75kbps.
Para pout = 0.6 la capacidad real es C = 125.78kbps
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 30

CSI en ambos lados
Asumiremos que g[i] es perfectamente conocido tanto en
transmisión como en recepción.
La capacidad promedio es C = ∞
0
B log(1 + γ)p(γ)dγ.
El transmisor adapta su potencia S(γ) en función de la SNR en
recepción γ tal que
∞
0
S(γ)p(γ)dγ ≤ S
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 31

CSI en ambos lados (cont.)....
La capacidad de un canal variante en tiempo es
C =
∞
B log
0
1 + γ S(γ)
p(γ)dγ
S
El objetivo es maximizarla sujeto a la restricción
∞
0 S(γ)p(γ)dγ ≤ S.
Se obtiene:
S(γ)
S =
1
γ0
− 1
γ γ ≥ γ0
0 γ < γ0
Solamente se transmite en los intervalos donde se cumple la
condición.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 32

CSI en ambos lados (cont.)
Asignación de potencia óptima: Watter-Filling
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 33

CSI en ambos lados (cont.)
La capacidad resultante es
C =
∞
0
γ
B log
El valor de corte debe satisfacer
∞
S(γ)
S p(γ)dγ
∞
1
=
γ0
γ0
γ0
γ0
p(γ)dγ
− 1
p(γ)dγ = 1
γ
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 34

Ejemplo .....
Vamos a continuar con el ejemplo anterior...
Consideremos que las probabilidades de las SNR en recepción
son:
γi γ1 = 0.833 γ2 = 83.333 γ3 = 333.33
p(γ) 0.1 0.5 0.4
Calculemos el umbral γ0 de forma que
γi>γ0
3
i=1
1
γ0
p(γi)
γ0
− 1
p(γi) = 1
γ
−
3
i=1
p(γi)
γi
= 1
En nuestro caso γ0 = 1
1.13 = 0.8 < γ1 y, por tanto, la SNR más
débil nunca se utilizará.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 35

Ejemplo (cont.)
Calcularemos el umbral γ0 eliminando γ1,
2
i=1
p(γi)
γ0
−
2
i=1
En nuestro caso resulta, γ0 = 0.89.
La capacidad resultante es
C =
i=2
γ0
p(γi)
γi
= 1
3
B log2( γi
)p(γi) = 200.82kbps
La capacidad es mayor que la obtenida con CSI en recepción y
se aproxima a la de un canal AWGN.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 36

Canales con desvanecimiento
selectivo en frecuencia
Modelo de canal (canales invariantes
en tiempo)
Capacidad
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 37

Modelo de canal
Supondremos un canal invariante en tiempo.
Canal con respuesta en frecuencia H(f) conocida tanto el el
transmisor como en recepción.
Se transmite una potencia total S.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 38

Canal con desvanecimiento
selectivo en frecuencia (cont.)
H(f) puede dividirse en subcanales de ancho de banda B.
La SNR en cada canal es |Hj| 2 Sj
N0B donde Sj es la potencia
localizada en el j-ésimo canal,
j Sj ≤ S. La capacidad del
j-ésimo canal es
.
Cj = B log 2
1 + |Hj| 2
Sj
N0B
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 39

Canal con desvanecimiento
selectivo en frecuencia (cont.)
Como tenemos varios canales en paralelo, nos planteamos
maximizar la capacidad (ejercicio)
Se obtiene
max C =
B log2 donde γj = |Hj| 2 S
NoB .
j
Sj
S =
1 + |Hj| 2
Sj
N0B
1
γ0
− 1
γj
γj ≥ γ0
0 γ < γ0
El parámetros γ0 debe ser elegido de forma que
1 1
j ( − ) = 1. La capacidad resultante es
γ0 γj
C =
γj>γ0 B log
γj
2
γ0
s.a.
Sj ≤ S
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 40
k

Canal con desvanecimiento
selectivo en frecuencia (cont.)
Watter-filling para canales con desvanecimiento selectivo en
frecuencia.
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 41

Ejemplo....
Vamos a calcular la capacidad de un canal selectivo en frecuencia
considerando que se puede aproximar por tres canales de
B = 1MHz y con H1 = 1, H2 = 2 y H3 = 3. Consideraremos que la
restricción en potencia es S = 10mW y que N0 = 10 −9 W/Hz.
SNR en recepción: γj = |Hj| 2 S
NoB : γ1 = 10, γ2 = 40, γ3 = 90.
Utilizando 3
j=1
C = 3
j=1 B log 2
( 1
γ0
γj
γ0
1 − γj ) = 1, obtenemos γ0 = 2.64 < γ1.
=
1000000 (log 2(10/2.64) + log 2(40/2.64) + log 2(90/2.64)) =
10.93Mbps
Teoría de la comunicación para redes móviles.- Adriana Dapena – p. 42