Appunti di Teoria dell'Informazione e Codici - Università di Palermo

64 Capitolo - 6 - Appunti di Teoria dell’Informazione e Codici
{ [∑ (∑ ( ) ) ]}
( ) |
|
|
∑ (∑ ( ) )
| ∑
[∑ ( ) ]
|
∑
{( ) [∑ ( ) ]}
|
|
∑ (∑ ))
{
{
[∑ ( ) ]
∑ ( ) ( ) ( )
( )
|
∑ ( )
} }
∑
( )
∑ ( )
(
)
∑ ( ) ∑ ∑ ( ) ∑ ∑ ( ) I( )
(6.3.16)
La precedente in sostanza dice che la pendenza della ( ), valutata per
e pensata come funzione della sola , è pari all’informazione mutua del canale
connesso ad una sorgente che emette simboli distribuiti secondo la . Per questo
motivo abbiamo indicato la suddetta informazione mutua come una ( ) che evidenzia
la dipendenza dalla distribuzione sotto il nostro controllo.
Abbiamo già visto che ( ) . Se risulta ( ) allora la ( ) che,
come abbiamo visto attraversa l’asse delle nell’origine, assume certamente valori
positivi in un intorno destro di quest’ultima.
Si può anche verificare che la ( ), se ( ) , è una funzione strettamente
crescente e che la sua derivata seconda è non positiva per . Essa ha quindi la
concavità rivolta verso il basso, salvo alcune eccezioni in cui la derivata seconda è
nulla, ma tali casi non hanno interesse pratico.
Il nostro scopo è quello di massimizzare la ( ) , consideriamo per il
momento solo la dipendenza da , la derivata parziale rispetto a della funzione in
parola vale:
( )
(6.3.17)