1 Alg`ebre linéaire

Pour toute la section, une source est modélisée par variable aléatoire. La variablealéatoire X prend ses valeurs dans l’alphabet X et x 1 est une instanciation de lavariable X. Y , Y et y i sont similairement définie. Dans le cas d’une instanciationmultiple X 1 X 2 X 3 . . . X n nous écrirons x = x 1 x 2 x 3 . . . x n . L’idée des séquences typiqueest la suivante (ici pour le cas d’une source binaires) : p(x 1 , x 2 , . . . , x n ) =p(x 1 )p(x 2 ) . . . p(x n ) ≈ p np (1 − p) n(1−p) . Donc − log p(x 1 , x 2 , . . . , x n ) ≈ −np log p −n(1 − p) log(1 − p) = nH(X).1. Pour toute constante ɛ, une séquence x 1 x 2 x 3 . . . x n est dite ɛ-typique si2 −n(H(X)+ɛ) p(x 1 , . . . , x n ) 2 −n(H(X)−ɛ) .L’ensemble de toutes les séquences de longueur n est dénoté par T (n, ɛ).2. De manière équivalente, x 1 x 2 x 3 . . . x n ∈ T (n, ɛ) si et seulement si∣ 1∣n log 1∣∣∣p(x 1 , x 2 , . . . x n ) − H(X) .3. Théorème 4.14 (Théorème des séquences typiques)(a) Soit ɛ > 0, une constante. Alors, pour tout 0 < δ < 1 et pour tout n detaille suffisante, la probabilité qu’une séquence soit ɛ-typique est supérieurà 1 − δ.(b) Soit ɛ > 0, une constante. Alors pour tout δ > 0 et pour tout n de taillesuffisante, on a(1 − δ)2 n(H(x)−ɛ) |T (n, ɛ)| 2 n(H(X)+ɛ) .(c) Soit S(n) un ensemble de séquences de longueur n tel que |S(n)| 2 nR ,où R < H(X) est une constante. Alors pour tout δ > 0 et pour tout n detaille suffisante on a : ∑p(x) δ.x∈S(n)18