1 Alg`ebre linéaire

4.3 Entropie1. L’entropie de Shannon pour une source aléatoire X (un probabilité de distributiondiscrète) est ainsi définie :H(X) H(p 1 , p 2 , . . . , p n ) ∑ ip i log 2 p i .2. Pour une variable binaire : h(p) −p log p − (1 − p) log (1 − p).3. h(p) = h(1 − p).4. ∀p h(p) h(1/2) = 1.5. Soit X une variable aléatoire possédant d valeurs possibles, alors H(X) log d.6. H(X, Y ) − ∑ x,yp(x, y) log p(x, y).7. H(X, Y ) H(X) + H(Y ) avec égalité si et seulement si X et Y sont deuxvariables indépendantes.8. H(X) H(X, Y ) avec égalité ⇐⇒ Y = f(X).9. L’entropie relative entre deux distribution de probabilité sur les mêmesvaleurs {x}, p(x) et q(x), est ainsi définie :H(p(x)‖q(x)) ∑ xp(x) log( p(x)q(x) ) ≡ −H(p(x)) − ∑ xp(x) log q(x).,où −p(x) log(0) = +∞ si p(x) 0.10. H(p(x)‖q(x)) 0 avec égalité ⇐⇒ ∀p(x) = q(x).11. L’entropie conditionelle est ainsi définieH(X|Y ) H(X, Y ) − H(Y ) − ∑ y∑p(y)p(x|y) log 2 p(x|y).x12. H(X|Y ) H(X) avec égalité ⇐⇒ X et Y sont des variables indépendantes.13. L’information mutuelle entre X et Y est ainsi définie :H(X : Y ) H(X) + H(Y ) − H(X, Y ).14. H(X : Y ) = H(X) − H(X|Y ) et H(X : Y ) = H(p(x, y)‖p(x)p(y)).14