Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Capitolo - 2 - Appunti di Teoria dell’Informazione e Codici 16
2.2 - Sorgenti Gaussiane
Osserviamo che:
( ) ∫ ( ) ( ( ))
∫ ( )( ( ) ) ∫ ( ( )) ( )
∫ ( ( ))
(2.2.1)
ne segue che se ∫ ( ( )) la ( ) è limitata inferiormente. Ciò avviene
certamente se la
anche quella di ( ( )) . La
( ) è limitata. La sommabilità di ( ) garantisce in questo caso
( ) è certamente limitata inferiormente anche quando la
( ) non si mantiene limitata, purchè in corrispondenza ai valori di in cui diverge lo
faccia più lentamente di con per . Consideriamo adesso una
generica ddp ( ) risulta:
∫ ( )
∫ ( )
( )
∫ ( ) ( ( )
( )
( )
∫ ( )
)
( )
( )
La precedente può essere pensata come una generalizzazione della (1.4.6).
(2.2.2)
Supponiamo che la sorgente emetta una variabile aleatoria con varianza finita ,
ponendo nella (2.2.2) ( )
√
( ¯ )
, cioè scegliendo una ddp Gaussiana con
varianza
otteniamo:
∫ ( )
( )
∫ ( ) (√
( ¯ )
)
√ ∫ ( ) ∫ ( ) (
( ¯ )
)
(2.2.3)
( ) ∫ ( ) ( ¯ )
( )
( )
d’altro canto si verifica facilmente che ( ) è anche l’entropia di una variabile
aleatoria Gaussiana, con varianza .
Quanto appena esposto ci porta a concludere che a parità di varianza le sorgenti
continue Gaussiane generano la massima informazione media.