Canaux bruités et lutte contre le bruit 1. Introduction 2 ... - Montefiore

Canaux bruités et lutte contre le bruit
1. Introduction
2. Chapitre 5. Canaux discrets
Communications à travers un canal
Codage de canal (2d théorème de Shannon)
Interprétations, généralisations
3. Chapitre 6. Canal (continu) à bruit additif Gaussien
Processus aléatoires en temps continu, entropies diff., AEP
Canaux continus
Espaces de signaux
4. Lutte contre le bruit
Décodage optimal
Codes linéaires
Concaténation de codes
1

Comment assurer une communication fiable au moyen de canaux bruités
?
Exemples de canaux bruités :
1. Ligne téléphonique (bruit thermique, distorsions, diaphonie )
2. Une liaison par satellite (rayonnement cosmique )
3. Un disque dur (erreurs d’écriture ou de lecture)
Modèle simple : canal binaire symétrique ( = probabilité d’erreur)
0
1
1
1
2
0
1

Supposons que : 0 1 (une erreur sur 10 bits, en moyenne)
Pour que le disque (p.ex.) soit utile : nous ne voulons pas d’erreurs sur la
durée de vie du disque (avec un garantie de 1/100 disques)
P.ex. : durée de vie = 10 ans. Et, supposons que le disque serve à transférer
1GB par jour.
10 15 . (souhaité)
Deux approches :
1. Solution physique : meilleurs circuits, densité plus faible, meilleur refroidissement
2. Solution système : compenser les mauvaises caractéristiques du disque en
l’utilisant “intelligemment”
Message
ENCODEUR
CANAL
3
DECODEUR
ˆ
Estimée
du message

Théorie de l’information et du codage : solution système
Ajouter de la redondance à l’entrée et exploiter cette redondance (connue) lors
du décodage
Théorie de l’information :
Quelles sont les possibilités (limites) théoriquement atteignables ?
problème d’analyse
Théorie du codage :
Comment réaliser des systèmes pratiques de compensation ?
problème de synthèse
(Cf. analogie avec les deux cours de théorie des systèmes)
4

Codes correcteurs d’erreurs pour le canal symétrique binaire
1. Codes de répétition :
Source Code
0 000
1 111
Exemple de transmission : 0010110.
Décodage : on utilise le vote majoritaire.
s 0 0 1 0 1 1 0
x 000 000 111 000 111 111 000
b 000 001 000 000 101 000 000
y 000 001 111 000 010 111 000
Décodage : ˆ 0010010
( : vecteur de bruit)
(par bit source) : 3 3 2 1 0 028 et débit du code : 1 3
NB: pour atteindre 10 15 il faut 1 60
Autre propriété : correction erreurs simples, détection erreurs doubles.
5

2. Codes en blocs (Hamming 7 4 )
On aimerait bien optimiser le débit de transmission sous la contrainte
10 15
Codes en blocs : on associe à des mots source de longueur un mot canal de
longueur .
Exemple : Hamming 7 4
s x
0000 0000000
0001 0001011
0010 0010111
0011 0011100
s x
0100 0100110
0101 0101101
0110 0110001
0111 0111010
s x
1000 1000101
1001 1001110
1010 1010010
1011 1011001
s x
1100 1100011
1101 1101000
1110 1110100
1111 1111111
Code peut être écrit de façon compacte sous la forme ( et vecteurs ligne)
avec
1 0 0 0 1 0 1
0
0
1
0
0
1
0
0
1
1
1
1
0
1
[ 4 ]
0 0 0 1 0 1 1
6

Code linéaire : combinaisons linéaires (arithm. mod. 2) de mots de code sont
encore des mots de code.
Les 4 premiers bits = mot source, les trois derniers = contrôle de parité.
P.ex. : 5ème bit = parité (somme mod. 2) des 3 premiers.
Décodage : soit le mot reçu
Maximum de vraisemblance : trouver le mot de code ˆ qui maximise la
probabilité ˆ .
Distance de Hamming : nb bits différents entre deux mots.
Si ˆ alors ˆ 1 (ici 7)
Donc : ˆ maximale ˆ minimale (en supposant que 0 5).
Distance minimale du code 7 4 : = 3
Poids de Hamming : nombre de bits à 1.
Si poids de Hamming de 1 : décodage correct.
7

Si poids de Hamming de 2 : détection correcte.
Sinon, erreurs possibles.
Si une seule erreur :
Si erreur sur un des quatre premiers bits violation de deux ou trois parités.
P.ex. si le premier bit est inversé : erreur de parité au niveau du 1 et du 3ème
bit de parité (et réciproquement).
Si erreur sur un bit de parité : erreur seulement sur un seul contrôle de parité.
Dans les deux cas on identifie directement l’erreur.
Utilisation du syndrôme
Syndrôme : différence entre les trois bits de contrôle reçus et ceux qui seraient
obtenus en calculant le mot de code à partir des quatre premiers bits reçus.
Le syndrôme contient toute l’information pour le décodage optimal :
Huit valeurs possibles huit patterns d’erreurs les plus probables (précalculés).
8

P.ex. : supposons que 0101111 :
- bits de signal 0101 mot de code 0101101 (parité 101)
- syndrôme : 101 111 010 (bit par bit)
- pattern d’erreur le plus probable : 0000010
- mot décodé : 0101101
P.ex. : supposons que 0101110 :
- bits de signal 0101 mot de code 0101101 (parité 101)
- syndrôme : 101 110 011 (bit par bit)
- pattern d’erreur le plus probable : 0001000
- mot décodé : 0100 (code 0100110).
Par exemple :
Si 0 erreur : poids du syndrôme nul
Si 1 erreur : poids du syndrôme = 1, 2 ou 3. (7 possibilités/7)
Si 2 erreurs : poids du syndrôme = 1, 2 ou 3.
Si 3 erreurs : poids du syndrôme = 0, 1, 2 ou 3.
Se trompe à coup sûr si 2 erreurs ou plus.
9

Résumé
Code 7 4 détecte aussi les erreurs simples, mais sur des mots plus longs (7
au lieu de 3).
Si 0 1 : probabilité d’erreur par mot : 0.14
probabilité d’erreur par bit : 0.07
Moins bon du point de vue mais meilleur du point de vue débit : 4 7.
Il semble qu’il y ait un compromis entre le débit et le taux d’erreurs.
Intuitivement : lim 0 0
(ce que tout le monde croyait il n’y a pas si longtemps...)
Et alors ?
...Shannon est arrivé...
10

Second théorème de Shannon
Dit que ssi 1 2 alors 0 possible (par mots et par bits).
Troisième théorème de Shannon (distorsion tolérée)
Compression irréversible, alors 1 2
( désigne ici le nombre minimum de symboles de code par symbole
source nécessaires)
Au total : on peut fonctionner si 1 2
log
0.1 Atteignable
0.01
1e-11
0 0.53
Non atteignable
1
11
Conclusion : il suffit de deux disques
pour atteindre 10 15 .

Chapitre 5 : canaux discrets, 2nd théorème de Shannon
Qu’est-ce qu’un canal ?
Modèle abstrait :
.....
1 2
Canal Albert
1 2 1 2
Plus tard et/ou ailleurs
Version bruitée
c’est-à-dire la donnée des lois de probabilités conditionnelles
définies 1 2
(on néglige le temps qui s’écoule)
1 1
12
1 2
....

Simplifications
Canal causal : si
1 1 1 1 1
Canal causal sans mémoire : si 2
1 1 1 2
Canal causal sans mémoire et stationnaire : si 1 on a
cela va être notre modèle de travail...
1 symbole entre en -ième position 1 autre symbole sort en -ième position.
Si processus stationnaire à l’entrée stationnaire à la sortie
Si processus ergodique à l’entrée ergodique à la sortie
(NB: se généralise si canal stationnaire de mémoire finie...)
13
3

Capacité en information d’un canal sans mémoire
Par définition :
Remarques
Grandeur calculée pour une utilisation du canal.
max ; 4
; dépend à la fois de propriétés de la source et du canal.
ne dépend que des propriétés du canal.
A ce stade cette grandeur ne veut rien dire de plus...
Plus loin on verra qu’elle coïncide avec la notion de capacité opérationnelle.
NB: comment généraliser la définition de pour un canal avec mémoire ?
14

Exemples de canaux et calculs de leur capacité
Matrice de transition :
1. Canal binaire sans bruit
Entrées et sorties binaires :
1
1 1 1
.
. ..
1 0
0 1
; , maximale quand est maximale (=1 Shannon).
Débit atteignable (sans erreurs) : 1 symbole source/utilisation du canal.
Peut-on faire mieux ?
Non, sauf si on sacrifie .
15
.

2. Canal bruité sans recouvrement des sorties
P.ex. : matrice de transition
1 0 0
0 0 1
Atteignable...
0 ; 1.
3. Machine à écrire bruitée
Entrées : a, b, c, , z Sorties : a, b, c, ,z
0 5 0 5, 0 5 0 5, 0 5 0 5
; avec 1 max si sorties équiprobables
P.ex. si entrées équiprobables : log 2 26 log 2 13
Atteignable en utilisant un sous-ensemble de l’alphabet d’entrée...
(NB: cette idée sera exploitée plus loin)
16

4. Canal symétrique binaire
0
1
1
1
Capacité en information de ce canal :
;
0
1
2 2 1 2
Vaut 0, si 0 5 et 1 si 0 0. Symétrique : 1 .
Atteignabilité : moins évidente.
17
1
1

5. Canal binaire avec effacement
0
1
1
1
0
1
1 0
0 1
max ; max max 2
Impossible de réaliser log 3 par un choix judicieux de (sauf si
1 3)
Soit 1 ; on trouve 2 1 2 qui est maximale
lorsque 0 5.
On trouve finalement 1 symboles perdus n’apportent pas d’information.
Canaux symétriques : indépendant de . réalisée si unif.
18

Propriétés de la capacité en information
1. 0.
2. min log log .
De plus on montre que ; est une fonction continue et concave de .
Comme elle est concave tout maximum local est un maximum global sur
l’ensemble convexe des distributions de probabilités de .
Comme elle est bornée le maximum l’est aussi.
On peut donc utiliser des méthodes d’optimisation locale (“descente” de
gradient, ) pour trouver son maximum.
En général, la solution n’est pas obtenue de façon analytique.
19

Système de communication
Message
ENCODEUR
CANAL
DECODEUR
ˆ
Estimée
du message
Un message (ensemble fini de messages possibles 1 2 ) est
encodé par l’encodeur sous la forme d’une suite de symboles d’entrée du
canal, désignée par .
Cette séquence est reçue de l’autre côté sous la forme d’une séquence aléatoire
de symboles (distribuée selon la loi de probabilité .
Cette séquence est ensuite décodée par le décodeur, qui choisit un élément
ˆ le récepteur commet une erreur si ˆ .
Dans ce qui suit, nous supposons que l’encodeur et le décodeur opèrent de
manière déterministe :
- est la règle (ou fonction) d’encodage;
- ˆ est la règle (ou fonction) de décodage.
20

Données canal sans mémoire
Nous supposons données les probabilités de transition
(éventuellement non-stationnaires).
Nous supposons que le canal est utilisé sans boucle de retour (voir notes) :
Dans ce cas : 1 .
Définitions qui vont suivre :
Code de canal
Probabilités d’erreur...
Taux ou débit de communication.
Débit réalisable.
Capacité opérationnelle.
21

Code
Un code pour un canal est défini par
1. Un ensemble d’indices 1 ;
2. Une fonction d’encodage : 1 , qui donne les
mots de code 1 que nous appellerons la table du code
(codebook).
3. Une fonction de décodage
: 1 5
qui est une règle déterministe qui associe à chaque sortie possible du canal
une entrée .
mots codés sur symboles d’entrée du canal.
22

Probabilités d’erreur de décodage
1. Probabilité d’erreur de décodage du mot
2. Probabilité d’erreur maximale d’un code sur un canal :
max
1
3. Probabilité d’erreur moyenne (algébrique) :
1
probabilité d’erreur de décodage si est distribué uniformément à l’entrée.
23
1
1

Règle optimale de décodage
Par définition : celle qui minimise la probabilité d’erreur de décodage.
Pour un reçu choisir tel que est maximale.
maximiser la probabilité a posteriori (MAP)
minimise pour chacun des la probabilité d’erreur
minimise la probabilité d’erreur de décodage en moyenne (probabiliste).
principe général en théorie de décision : Règle de Bayes
On dispose d’une information (variable aléatoire qui peut être observée).
On veut prendre une décision optimale (choisir parmi possibilités).
Décision correcte : une v.a. connu.
Coût de décision : 0 si correcte, 1 si incorrecte.
Décision optimale sur base de l’info : ˆ arg max
24

Pour notre canal :
1
Comme 1 ne dépend pas du choix opéré, cela
revient à maximiser .
Discussion
: données canal.
: données source.
Si source uniforme : indépendant de maximiser .
règle du maximum de vraisemblance : minimise
Quasi optimale, si source quasi uniforme.
P.ex. si source non redondante ou si on code des messages longs (cf. AEP)
25

Débit de communication : noté
Le débit de communication
non/symbole transmis.
d’un code est défini par
entropie par symbole de canal si entrées uniformes.
Débit réalisable (plus subtil)
log
Shan-
réalisable (atteignable) si une suite de codes 1 2 avec
1. 2 et 2. lim 0
codes de débit , finissent par devenir aussi bons que souhaité et le restent
Remarque
Définition indépendante de la distribution de la source (cf. prob. erreur max).
Capacité opérationnelle : borne sup de tous les débits réalisables.
0 est réalisable, mais est-ce que 0 et fini ?
26

Second théorème de Shannon
Objectif : démontrer que la capacité en information est égale à la capacité
opérationnelle .
Hypothèses : le couple obéit au théorème AEP (stationnaire et
ergodique)
Si canal stationnaire, de mémoire finie et entrée stationnaire ergodique
Capacité en information (par utilisation du canal) :
max lim 1
(avec stationnaire et ergodique)
Nous allons cependant nous restreindre au canal sans mémoire.
Dans ce cas, le maximum est réalisé par des symboles de source indépendants
et on revient à notre définition : max ;
27
;

Démarche
On se donne , et ; on construit une table de code aléatoire selon
( tirages) mots de codes sont typiques (si suff. grand).
1
2
3
transition typique transition atypique
28

Bilan (à la louche...)
A l’entrée : 2 séquences typiques possibles (on en tire ).
A la sortie : pour chaque typique 2 séquences de sortie typiques
Mais les sorties sont typiques : au total il y en a 2
Si on souhaite qu’il n’y ait pas de recouvrement : il faut que
2
2 2
En choisissant qui maximise ; on en déduit qu’il est plausible
de pouvoir transmettre 2 messages distinguables à la sortie.
Morale
En travaillant dans un espace de grande dimension ( ) on peut exploiter
la redondance (corrélation) entre entrées et sorties pour transmettre de
l’information de manière fiable.
29
;

Démonstration du second théorème de Shannon
Deux parties : (1) atteignabilité de (2) impossibilité de la dépasser.
Etapes
1. Théorème AEP conjoint
2. Atteignabilité (codes aléatoires + AEP) (symboles source indépendants)
3. Inégalité de Fano : majoration de en fonction de
4. Majoration de la capacité du canal étendu
5. Réciproque du second théorème
6. Discussion de
30

Typicalité conjointe
L’ensemble de séquences conjointement typiques par rapport
à une distribution , est l’ensemble de telles séquences dont les
entropies conjointes et marginales empiriques sont proches des entropies
conjointes et marginales, c’est-à-dire
où
1 log
1 log
:
1 log (6)
31
1
7

Théorème : équipartition asymptotique (AEP) conjointe
Soit une suite de variables aléatoires correspondant à des séquences
entrée/sortie de longueur tirées aléatoirement, de façon indépendante et distribuées
selon une même loi (i.e. 1 ).
Alors
1. lim 1.
2. 1 2 2 .
3. si ˜ ˜ , i.e. si ˜ et ˜ sont indépendantes et
distribuées selon les lois marginales de , alors
1 2
; 3 ˜ ˜ 2
NB. Ensemble simplement typique : ensemble des couples tels que
1 log .
conjointement typique aussi probable que simplement typique.
32
3
8

2
séquences
d’entrée
typiques
2 séquences de sortie typiques
2
séquences conj. typiques
2
séquences
d’entrée
typiques
2
séquences
d’entrée
typiques
2 séquences de sortie typiques
(c) Cas totalement aléatoire : ; 0
2 séquences de sortie typiques
(a) Cas usuel : 0 ; (b) Cas déterministe : ;
33

2ème théorème de Shannon
Deux parties :
Aller : réalisable ( 0).
Retour : non réalisable.
De manière plus fine :
Aller : implique qu’il existe un moyen (suite de codes) d’utiliser le
canal de telle manière que et décroissent de façon exponentielle (en
fonction de ) vers zéro.
Retour : implique que quelle que soit la façon d’utiliser le canal,
va croître vers 1, de façon exponentielle.
Nous allons esquisser les deux démonstrations sous l’hypothèse du canal sans
mémoire.
34

Esquisse de la démonstration (Aller)
On se donne , , ; et 2 et un .
1. Construction de codes aléatoires : on considère tous les codes
possibles avec une loi de probabilités pur chacun définie par
1 1
2. Règle de décodage : on associe à une suite reçue l’indice tel que
(erreur si pas unique ou si inexistant).
3. On calcule la probabilité d’erreur moyenne de tous ces codes, i.e.
et on montre que
avec lim 0. (C’est ici qu’on fait appel aux propriétés de ).
35
2

4. Comme ce qui précède est vrai quelque soit on peut choisir comme
cas particulier qui réalise la capacité( ; ). On en déduit un
moyen pour obtenir de bons comportements en moyenne si .
5. Comme , cela implique qu’il existe au moins un code tel que
2 (en fait il en existe même un très grand nombre).
6. Soient les ( 1 ) les probabilités d’erreur des mots de ce code.
Construisons un nouveau code comprenant les
et soit leur probabilité d’erreur maximale.
2 mots de les meilleurs,
Montrons que 4 (Si 0 ok). Sinon
Conclusion.
1 1 1
2
Nous avons su construire un code de longueur 2 2 1 tel que 4 .
Autrement dit, pour suffisamment grand, et pour un débit 1 on a
4 . c.q.f.d.
36

Esquisse de la démonstration (Retour)
Repose sur l’inégalité de Fano.
Si on devine à partir de alors
log
Dans le cas de notre canal, on l’applique à (le message d’entrée) et
les suites reçues à la sortie.
On en déduit que
D’autre part, (fonction) et donc
Enfin, on note que ; (canal sans mémoire).
1
37
1
1

Réciproque Si est réalisable, alors .
Si est réalisable, il existe une suite de codes 2 avec 0.
Cela implique donc aussi que 0.
La suite nous de codes nous donne la fonction d’encodage
et en supposant que est uniforme .
On en déduit que
et en divisant par
log 2 ; (9)
; (10)
1 (11)
ce qui implique (en faisant tendre ) que .
38
1

A lire dans les notes...
Détails démonstrations.
Sous quelles conditions est possible.
Feedback.
Interprétation géométrique du codage de canal
1 5 10 n t
Figure 1 Représentation de messages par des signaux temporels discrets
39

1
1
1
2 2
(a) Trop peu de messages 1 (b) Trop de messages 1
(c) Bruit plus élevé: 2 1
2
1
(d) Bruit corrélé dans le temps : 3 1
40
2

Chapitre 9
Construction de bons codes de canal.
1. Pourquoi pas le codage aléatoire ?
(NB. on peut utiliser le décodage au maximum de vraisemblance.)
Problème principal : il faut très grand pour que soit petit.
Comme croît exponentiellement avec , cela veut dire que la table de code
devient de taille astronomique, et le décodage (dont la complexité est au moins
linéaire en fonction de ), devient impraticable.
un bon code de canal serait un code à la fois efficace du point de vue
correcton d’erreurs et facile àdécoder.
La théorie des codes vise à construire de tels codes, depuis 1950.
beaucoup de théorie (parfois assez compliquée) avec des résultats assez
décevants (ça se sent dans beaucoup de livres sur la question).
41

Progrès significatifs récents :
- en 1993, Berrou et al. découvrent les turbo-codes.
- codes en blocs de faible densité
Note
Codes pour le canal binaire symétrique.
Codes pour le canal Gaussien (voir chapitre 6).
Codes pour d’autres types de canaux (évanouissements, bruit impulsionnel...)
Importance pratique ( il y a encore du pain sur la planche)
Réduire les puissances d’émission : réduire poids, augmenter autonomie (p.ex.
GSM, satellites )
Travailler dans des conditions très bruitées (p.ex. orages magnétiques )
42

Menu : pour notre survol du codage de canal...
Codes linéaires en blocs (cf. introduction)
Code convolutifs et treillis
Algorithme de Viterbi
Combinaison de codes (produit, concaténation)
Article de la recherche de ce mois sur les turbo-codes
43

Codes linéaires en blocs
Reposent sur la structure d’espace vectoriel induit à partir d’un corps fini.
Corps fini ( symboles) : structure algébrique définie sur l’alphabet du code.
Exemples :
mots de code possibles.
- arithmétique modulo (avec nombre premier) : 2 3 5 7 11 13
- corps de Gallois (alphabets de taille ): 4 8 9 16 25 27
Pour nous alphabet binaire avec arithmétique modulo 2.
Pourquoi élargir l’alphabet ?
pour se rapprocher du signal continu (voir chapitre 6).
n’a d’intérêt que si le rapport signal bruit est suffisamment faible.
44

Code linéaires
Ayant choisi et , le code définit un sous-espace linéaire de dimension
de .( )
Deux approches pour l’expliciter :
1. Choix d’un ensemble de vecteurs de base (matrice génératrice , )
on peut écrire un mot de code sous la forme .
2. Choix d’une base du complément orthogonal (matrice de contrôle ,
)
on doit avoir 0.
Métrique de Hamming
... cf début de ce cours pour les définitions (qui s’étendent au cas 2).
Notion de distance minimale entre mots de codes et .
45

Décodage de codes linéaire en bloc (ex. (7,4))
Trouver le mot de code qui minimise la distance de Hamming.
Trois idées :
1. Construire une table qui contient pour chaque mot possible ( ) le mot de
code le plus proche (grosse table) (2 7 128)
2. Utiliser la table de code (qui contient mots) et la parcourir systématiquement
(table plus petite, mais plus de calculs) (2 4 16)
3. Utiliser le syndrôme : à chaque syndrôme correspond un pattern d’erreur le
plus probable (à cause de la linéarité). On construit une table qui associe les
syndrômes pattern d’erreurs (syndrôme = adresse) : taille . Ici 2 3 8.
Nombreuses familles de codes en bloc linéaires
46

Hamming : 2 1, (p.ex. 3 code 7 4 .
Colonnes de : tous les mots non-nuls de longueur .
P.ex. pour le code 7 4 on a
1 1 1 0 1 0 0
0 1 1 1 0 1 0
1 0 1 1 0 0 1
(ordre des colonnes en réalité quelconque). Ici organisation systématique...
Les codes de Hamming sont des codes parfaits qui corrigent une erreur simple
(maximaux).
Codes cycliques et BCH (cf corps de Gallois, permettent de choisir le nombre
d’erreurs corrigeables)
Codes de Hadamard (cf matrice de Hadamard)
Codes de Reed-Muller (construction récursive, facilité de décodage)
47
3

Codes convolutionnels
Codes linéaires mais pas en blocs.
Idée : la séquence d’entrée alimente un système (avec mémoire) qui
engendre une séquence de sortie.
Système = codeur : initialement au repos.
Séquence de sortie redondante
1
1
48
Entrelaceur

Décodage
Exemple (simple) :
0 1
1 2
Mémoire : état des deux registres 1 2 :2 2 4 états.
L’état initial (p.ex.) : 00
+
+
1
2
2
1 2
En l’absence de bruit, on peut récupérer de la manière suivante : 0
1
1
1 ,
1
2
49
1
0 , et

Diagramme en treillis
Simulation du fonctionnement à l’aide d’un graphe : représente toutes les
suites d’états possibles, avec les entrées et les sorties qui correspondent.
00
10
01
11
Etats
0 1 2 3 4 5 6 7 8
1
0
Etat : 1 2
temps ( )
sorties
Etat de l’encodeur : nb. d’états possibles où est la mémoire
De chaque état partent exactement deux transitions.
A partir de 3, deux transitions aboutissent à chaque état.
50
00
11
01
10
1 2
11
00
10
01

Décodage
1. Il est clair qu’à chaque suite d’entrée correspond un chemin dans le treillis.
2. Code déchiffrable : deux messages d’entrée chemins .
3. Message envoyé: (alphabet 4); message reçu : (alphabet 4).
4. Trouver ˆ tel que ˆ soit minimale.
5. choisir ˆ tel que ˆ , .
6. Considérons que les sont équiprobables : maximiser .
7. Canal sans mémoire : 1
8. Minimiser : log 1 log
9. log mesurent les “coûts” des arcs du treillis
10. trouver le chemin de longueur le moins “cher” dans le treillis.
NB. Solution par énumération : 2 chemins possibles... (suites possibles)
51

Algorithme de Viterbi
Basé sur la propriété suivante (chemin = suite d’états = suite d’arcs (symboles))
:
Si 1 est un chemin optimal menant vers l’état 1,
alors est un chemin optimal menant vers l’état
car sinon
Donc : si nous connaissons les chemins optimaux de longueur menant
vers chacun des états (noeuds en position ) et les coûts des transitions, on
peut en déduire directement les chemins optimaux de longueur 1 menant
vers chacun des états (noeuds en position 1).
Principe :
- on construit tous les chemins optimaux de longueur 0 1
- à la fin, on garde le chemin le moins cher parmi les qui sont de longueur
52

- si plusieurs choix possibles : on tranche arbitrairement
1 opérations (OK si et pas trop grands).
53

Discussion
Algorithme de Viterbi applicable de façon plus générale :
- alphabet de sortie continu
- source sans mémoire non-uniforme
- marche aussi pour les codes linéaires en blocs
Viterbi pas nécessairement très efficace (dépend de l’allure du treillis)
Versions simplifiées :
-méthode de hill-climbing (maintient seulement un seul chemin)
- beam-search
Inconvénient de principe : il faut attendre la fin du message pour trancher
En pratique : on peut trancher avec un retard de l’ordre de 5 .
54

Treillis associé à un code linéaire en bloc
On définit les états à partir de la matrice de contrôle.
P.ex. pour le code 7 4 on a
On sait que
En d’autres mots
1 1 1 0 1 0 0
0 1 1 1 0 1 0
1 0 1 1 0 0 1
7
1
1
2
3
55
0
0
0
0
0
0
3

Etat vecteur de contrôle de parité partiel :
et
000
001
010
011
100
101
110
111
0 1 2 3 4 5 6 7 8
1
0 7
9
56
0
0
0
1
2
3

Combinaisons de codes
Code produit
On écrit les mots du code selon les lignes d’un tableau, puis on établit un code
pour les colonnes.
On peut aussi faire autrement : on prend des blocs de longueur 1 2 : on les
organise dans un tableau 1 2 et on code d’abord les lignes de ce tableau,
ensuite les colonnes : ce qui donne un tableau 1 2 qui est transmis.
Code concaténé : on code deux fois de suite les messages.
Autres approches
Coder deux fois avec des logiques (simples) différentes (turbo-codes) et décodage
itératif (pour concilier les deux informations).
Codes pseudo-aléatoires : p.ex. codeurs convolutifs avec réponse impulsionnelle
de durée illimitée (boucles) (p.ex. l’état du codeur est un nombre
pseudo-aléatoire qui est ajouté au mot source...).
57

Chapitre 6. Canaux et signaux continus
1. Processus aléatoires en temps continu
2. Théorème d’échantillonnage
3. Entropies différentielles et théorème AEP
4. Canaux continus
(a) Canal Gaussien (modèle abstrait, en temps discret)
(b) Canaux à bande passante limitée (en temps continu)
(c) Canaux parallèles et bruit coloré
(d) Espaces de signaux (introduction au traitement du signal)
58

Ce que nous n’avons pas pu voire:
Codes sur un espace euclidien
(Signaux et canaux continus)
Cryptographie
(Rendre le décodage difficile)
Théorie de la distorsion
(Compression irréversible)
Théorie de l’information de réseaux de communication
Relation entre théorie de l’information et physique statistique
(Thermodynamique)
Applications de la théorie de l’information
(statistiques et apprentissage automatique)
Complexité de Kolmogorov
(relations avec l’informatique théorique : décidabilité, complexité )
59