Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Il Teorema di Shannon sulla Codifica di Canale 59
Nel caso di funzioni definite su sottoinsiemi di la precedente caratterizza le
funzioni con concavità rivolta verso il basso in tutti i punti di un intervallo che è un
sottoinsieme convesso di , è noto che laddove esiste la derivata seconda di una
funzione concava è non positiva.
Osserviamo che la combinazione lineare di funzioni concave è concava lo è
strettamente se anche una sola delle funzioni lo è. Per verificarlo è sufficiente sommare
termine a termine le (6.2.2) scritte per ciascuno degli addendi della combinazione
lineare.
Osservando la (6.2.2) notiamo che se si interpretano ed come i valori che
può assumere una V.A. generalmente multidimensionali e con ed
rispettivamente le probabilità che essa li assuma, potremo affermare che per una
funzione concava su un convesso che contenga tutti i valori che la V.A. può assumere
ed una V.A. del tipo citato vale la proprietà:
( ) ( ) (6.2.4)
Vogliamo mostrare che la precedente è valida in generale cioè per variabili aleatorie
discrete generalmente multidimensionali che possano assumere valori.
Abbiamo mostrato che la (6.2.4) è vera per , per lo è banalmente
supponiamo quindi che lo sia per e mostriamo che allora lo è anche per .
Se la (6.2.4) è vera per n 1 quale che sia la dmp di X si ha:
∑ ( ) (∑( )) (6.2.5)
dove rappresenta la probabilità che la variabile aleatoria assuma il valore .
Risulta:
∑ ( ) ∑ (∑
∑
( )) ( ) (6.2.6)
Osserviamo che ∑
∑
soddisfa tutte le proprietà di una dmp quindi in virtù
della (6.2.5) possiamo scrivere:
∑ ( ) ∑ ( (∑
∑
)) ( )
(6.2.7)
∑ ( ( )) ( )
dove
è certamente un punto appartenente al convesso su cui è definita la funzione.