Champs aléatoires de Markov couples et segmentation des images ...

Champs aléatoires de Markov couples et segmentation des imagestexturéesPairwise Markov Random Fields and Textured Images SegmentationWojciech PieczynskiAbdel-Nasser TebbacheInstitut National des TélécommunicationsDépartement Signal et Image9, rue Charles Fourier, 91000 Evry, Francee-mail : Wojciech.Pieczynski@int-evry.frRésuméLes modèles par champs aléatoires, qui permettent detenir compte des interactions spatiales dans des situationscomplexes, trouvent de nombreuses applications dansdifférents problèmes de traitement d'images, commesegmentation ou détection de contours.En segmentation statistique d'images on retientgénéralement le modèle par champs de Markov cachés :le processus des classes est un champ de Markov et onobserve sa version "bruitée". La loi du champs desclasses a posteriori n'étant pas toujours une loi deMarkov dans le cas des images texturées, l'applicationdes méthodes Bayésiennes classiques nécessite desapproximations du modèle.L'originalité de la modélisation proposée dans ce travailest de considérer la markovianité du couple (champ desclasses, champ des observations). Le modèle obtenu estdifférent du modèle par champs de Markov cachés, enparticulier la loi du champ des classes a priori n'est pasnécessairement une loi markovienne. Les imagestexturées peuvent alors être segmentées sansapproximations du modèle. On présente quelquespremières simulations attestant l'intérêt du modèleproposé.Mots ClefSegmentation, images, champs de Markov, texture.AbstractThe use of random fields, which allows one to take intoaccount the spatial interaction among random variablesin complex systems, becomes a frequent tool innumerous problems of statistical image processingproblems, like segmentation or edge detection.In statistical image segmentation, the model is generallydefined by the probability distribution of the class field,which is assumed to be a Markov field, and theprobability distributions of the observations fieldconditionally to the class field. In such models thesegmentation of textured images is difficult to performand one has to resort to some model approximations.The originality of our contribution is to consider themarkovianity of the couple (class field, observationsfield). We obtain a different model; in particular, theclass field is not necessarily a Markov field. The modelproposed makes possible textured image segmentationwith no approximations. Some first simulations tovalidate the model proposed are also presented.Key WordsSegmentation, images, Markov fields, texture.1 IntroductionNous présentons dans cet article un modèle par champsaléatoires de Markov, original par rapport aux champs deMarkov cachés classiques (HMRF). La différenceprincipale avec les modèles HMRF réside dans le fait quele champ des classes n'est pas nécessairement markovien.Un des avantages discuté dans la suite est la possibilitéde segmenter des images texturées sans approximationsdu modèle. Plus précisément, considérons un ensembledes pixels S et deux champs aléatoires X = (X s) s∈SetY = (Y s) s∈S. Le champ des classes X est inobservableet le problème est d'estimer sa réalisation à partir de celleobservée de Y . Dans la modélisation classique onsuppose que X est un champ de Markov et Y est saversion "bruitée". En d'autres termes, X est "caché" pardu bruit. Il existe alors diverses méthodes Bayésiennes desegmentation de Y , comme MPM [MMP87], MAP

En pratique, les variables aléatoires (Y s) ne sont pas, engénéral, indépendantes conditionnellement à X . L'égalité(2) est en particulier trop simpliste pour représenter laprésence de deux classes texturées et on est amené àconsidérer, si l'on souhaite modéliser les deux texturespar deux champs markoviens gaussiens, la définitiondonnée par (4) :P[Y = y X = x] =⎢λ (x)e −⎣⎡∑ a x s x ty s y t − 1 2 ⎤∑ [a xs x(s,t) voisins 2 sy s +b xs y s ] ⎥s⎦Le champ Y est ainsi markovien conditionnellement àX . La difficulté réside dans le fait que le produit de (1)par (4) n'est pas, dans le cas général, une loimarkovienne. En effet, si Γ(x) est la matrice decovariance de la loi gaussienne de Y = (Y s) s∈S(conditionnelle à X = x ), nous avons(4)simulations de X selon sa loi a posteriori, ce qui permetl'application des méthodes Bayésiennes comme MPM ouMAP.Notons qu'il se pose le problème, que nous n'aborderonspas dans cet article, de l'existence de la loi définie par (6).En effet, cette loi n'existe pas nécessairement pour toutesles fonctions ϕ 1, ϕ 2, a xs x t, a xs x s, b xs. Il existecependant des conditions d'existence, portant surl'énergie, des champs markoviens gaussiens nonstationnaires [Guy93]. Le champ Y étant gaussienconditionnellement à X , une des possibilités de montrerl'existence de la loi définie par (6) pourrait être demontrer que sa loi conditionnelle à X = x existe pourtout x .Le couple (X,Y) étant markovien, il est possible decalculer les lois des (X s,Y s) conditionnellement auvoisinage. Explicitons, à titre d'exemple, le calcul de laloi de (X s,Y s) conditionnelle aux observations faites surson voisinage composé des quatre plus proches voisinsλ (x) =1(2π) N det(Γ(x))(5)[(X t1,Y t1),(X t2,Y t2),(X t3,Y t3),(X t4,Y t4)] =[(x t1, y t1),(x t2, y t2),(x t3, y t3),(x t4, y t4)](7)qui ne peut pas être écrit, dans le général, comme unedistribution markovienne en x .Finalement, X est markovien, Y est markovienconditionnellement à X , mais ni (X,Y), ni Xconditionnellement à Y , ne sont markoviens dans le casgénéral. Cette absence de markovianité de la loi aposteriori rend difficile l'application rigoureuse desméthodes de segmentation comme MPM ou MAP;cependant, ce problème peut être traité par desapproximations du modèle, comme dans [KDH88,WoD92].2.2 Cas simple de Champ de MarkovCoupleUne autre possibilité, que nous proposons dans cetravail, consiste à considérer directement le couple(X,Y) comme markovien. Plus précisément, on poseP[X = x,Y = y] =⎡λe − ϕ[( x s , y s ),( x t , y t )]⎤⎢ ∑ −∑ ϕ*[( x s , y s )] ⎥⎣ (s,t) voisinss⎦ =(6)L'écriture explicite de ces lois permettra leur simulation,ce qui rendra possible la simulation des réalisations de(X,Y) par l'échantillonneur de Gibbs. Montrons quecette loi est de la forme (qui dépend également de(x t1, y t1), (x t2, y t2), (x t2, y t2), et (x t4, y t4);dépendance que nous omettons afin de simplifierl'écriture) :h(x s, y s) = p(x s) f xs(y s) (8)où p est une probabilité sur l'ensemble des classes et,pour chaque classe x s, f xsest la densité gaussiennecorrespondante à x s. L'écriture (8) permettra alors dessimulations aisées des réalisations de (X s,Y s) : onpourra simuler d'abord x sselon la probabilité p, etsimuler ensuite y sselon la densité f xs.Nous avons les égalités (9) suivantes :2∑ − ∑ [ϕ 2 ( x s )+a xs x sy s +b xs y s ]s= λe − [ϕ 1 ( x s , x t )+a x s x ty s y t ](s,t) voisinsLa markovianité du couple (X,Y) implique lamarkovianité de Y conditionnellement à X , et lamarkovianité de X conditionnellement à Y . Lapremière propriété permet de modéliser les textures,comme dans (4), et la deuxième rend possible les

P{(X s,Y s) = (x s, y s)[(X t1,Y t1),...,(X t4,Y t4)] = [(x t1, y t1),...,(x t4, y t4)]}∝ e − ∑ ϕ[( x s , y s ),( x t i, y ti )] −ϕ*[( x s , y s )]i=1,..., 4== e − ∑ [ϕ 1 ( x s , x t i)+a xs x tiy s y ti ] −[ϕ 2 ( x s )+a xs x sy 2 s +b xs y s ]i=1,..., 4=∑ ∑ ]y s −[ϕ 2 ( x s )+a xs x sy 2 s ]= e − ϕ 1 ( x s , x t i)+[b xs + a xs x tiy tii=1,..., 4i=1,..., 4Posons temporairement :∑α = ϕ 2(x s) + ϕ 1(x s, x ti)∑i=1,..., 4β = b xs+ a xs x tiy ti(10)i=1,..., 4δ = a xs x sM xs2σ xs= −1=2a xs x sb xs+ ∑ a xs x tiy tii=1,..., 42a xs x s(12)et par la probabilité p définie sur l'ensemble des classespar :p(x s) ==∑ω ∈Ω∑ ) 2i=1,..., 4(b xs + a xs x tiy ti[ (a xs x s) ] −1 e−ϕ 2 (x s )− ∑ ϕ 1 (x s , x ti )2a xs x s i=1,..., 4∑ ) 2i=1,..., 4(b ω + a ωxti y ti[ (a ωω) ] −1 e−ϕ 2 (ω )− ∑ ϕ 1 (ω , x ti )2a ωω i=1,..., 4La loi de probabilité (9) devient :2exp− [ α + βy s+ δy s ] =⎡(y s+ β ⎤⎢= exp− 2δ )2− ( β ⎥⎢δ −1 2δ )2 δ + α⎥=⎢⎥⎣⎦πδ −1 ⎡exp ( β ⎤δ )2 δ − α⎣⎢⎦⎥⎡−(y1πδ exp s+ β ⎤⎢ 2δ )2 ⎥⎢ −1 ⎢δ −1 ⎥ =⎥⎣⎦πδ −1 ⎡exp ( β ⎤2δ )2 δ − α⎣⎢⎦⎥ f x s(y s)(11)Finalement, les principales différences entre le modèleclassique par Champs de Markov Cachés et celui parChamps de Markov Couples proposé sont les suivantes :(i) La loi de X (sa loi a priori) est une loi deMarkov dans le modèle classique et n'est pasnécessairement une loi de Markov dans le modèleproposé;(ii) La loi de X a posteriori n'est pasnécessairement une loi de Markov dans le modèleclassique et c'est une loi de Markov dans le modèleproposé;(iii) Contrairement au modèle classique, il estpossible, dans le modèle proposé, de simuler lesréalisations de X selon sa loi a posteriori sansapproximations du modèle, ce qui permet l'utilisation desméthodes classiques de segmentation comme MAP[GeG84, Bes86] or MPM [MMP87].où f xsest une densité gaussienne avec la moyenne− β 2δ et la variance 1. Finalement, en tenant compte2δdu (10), la densité h(x s, y s) = p(x s) f xs(y s) figurantdans (8) est donnée par la densité gaussienne f xsdéterminée par sa moyenne M xs2σ xs:et sa variance variancesRemarques1. Le modèle classique par champs de Markov s'appliqueégalement dans le cas des données multicapteur [YaG95].Pour m capteurs les observations sur chaque pixels ∈S sont supposées être une réalisation d'un vecteuraléatoire Y s= Y 1 m[ s,...,Y s ]. On peut également étendrele modèle proposé au cas multicapteur : à titre d'exemple,on remplacerait y sy tet y 2sfigurant dans (6) par des[ ] etfonctions φ 1(y 1 s,..., y m s),(y 1 t,..., y m t)φ 2 [(y 1 s,..., y m s)].

2. Dans certains cas particuliers le modèle classique peutprendre en compte une texture ou un bruit corrélé[Guy93]. En particulier, le cas d'un bruit gaussien corréléadditif est traité dans [Lee98].3. L'estimation des paramètres du modèle par champs deMarkov couples pourrait, a priori, être effectuée par desvariantes de la méthodes Estimation ConditionnelleItérative (ICE [Pie92], [Pie94]). En effet, X étantsimulable selon sa loi conditionnelle à Y , il reste àconsidérer un estimateur des paramètres défini à partir de(X,Y). On pourrait alors envisager l'adaptation à(X,Y), dont la structure est relativement inhabituellecar X prend ses valeurs dans un espace discret et Yprend les siennes dans un espace continu, des diversestechniques connues [Guy93], et en particulierl'algorithme du gradient stochastique [You88].2.3 Cas général Champ de Markov CoupleLa généralisation de l'exemple donné par (6) à uneécriture quelconque de l'énergie ne pose pas de problèmemajeur. Soit S l'ensemble des pixels, avecN = Card(S). On considère k classesΩ = {ω 1,...,ω k}, m capteurs (chaqueY s= (Y s 1 ,...,Y s m ) est à valeurs dans R m ), et l'ensemblede cliques défini par un certain système de voisinages. Lechamp aléatoire Z = (Z s) s∈S, avec Z s= (X s,Y s), estun Champs de Markov Couple si sa loi s'écritP[Z = z] = λe∑− ϕ c (z c )c∈C(14)Notons que dans certains cas, comme le cas gaussien, ondoit s'assurer de l'existence de la mesure de probabilitédonnée par (14).En particulier, le cas de trois capteurs peut être utilisépour la segmentation des images couleur.3 Exemples visuelsNous présentons dans ce paragraphe quelques résultats desimulations et de segmentation par la méthode MPM. Ilapparaît que la variation des paramètres d'un champ deMarkov couple simple permet d'obtenir un certainnombre d'images texturées. Nous avons choisi deprésenter des cas relativement "bruités" (on distinguel'image des classes avec quelque difficulté). Nousremarquons que les images des classes ressemblent à desréalisations des champs de Markov, ce qui peutéventuellement signifier que dans les cas simplesprésentés le modèle classique, où le champ des classes estun champ de Markov, n'est pas très "éloigné" du modèlepar champ couple. Nous notons également la possibilitéd'obtenir différents types de textures.Les champs couples présentés sur la Fig.1 sont deschamps de Markov relativement aux quatre plus prochesvoisins et tels que la loi de Y conditionnelle à X estune lei gaussienne. L'écriture de la loi de (X,Y) choisiepour les simulations estP[X = x,Y = y] =∑ − ϕ*[( x s ,s= λe − ϕ[( x s , y s ),( x t , y t )](s,t) voisinsavecϕ[(x s, y s),(x t, y t)] =∑ y s )] (15)12 (a x s x ty sy t+ b xs x ty s+ c xs x ty t+ d xs x t)ϕ *[(x s, y s)] = 1 2 (α x sy s 2 + β xsy s+ γ xs x t)(16)Les coefficients définissant l'énergie donnée par (16) sontprécisés dans le tableau Tab.1. Notons qu'il estintéressant, pour avoir une idée de l'importance du bruit,d'avoir des renseignements sur la loi de Y conditionnelleà X = x . C'est en effet une loi gaussienne et laconnaissance des paramètres comme les moyennes ou lesvariances correspondant aux classes permet d'avoir, enpremière approximation, une idée sur les bruitages. Lesrenseignements sont cependant incomplets car le niveaudu bruit dépend également des corrélations des v. a. (Y s)conditionnellement à X et de la loi de X a priori.Notons qu'un lien simple unit certains coefficients despotentiels donnés par (16) aux moyennes et auxvariances. En effet, en notant Σ xla matrice decovariance de la loi gaussiennes de Y conditionnellementà X = x et en posant Q x= [q x st] s, t∈S= Σ −1 x, nousavons⎡P[Y = y X = x] ∝ exp − (y − m)t Q x(y − m) ⎤⎢⎣ 2⎥⎦(17)En développant (17) et en identifiant avec (16) nousavons en particulierm xs2σ xs= − β x s2α xs(18)= 1α xs

Tous les autres paramètres égaux par ailleurs, on peutainsi utiliser (18) pour augmenter ou diminuer le bruit.À titre d'exemple, en gardant les variances constantes, onaugmente le bruit en rapprochant les moyennes. Notonsqu'il n'existe pas de lien simple entre les corrélations etles fonctions figurant dans (16). Les corrélations figurantdans le tableau Tab.1, qui montrent qu'il est possibled'obtenir diverses valeurs donnant des texturesvisuellement différentes, sont des estimées.Les valeurs des moyennes montrent que les bruitagessont relativement élevés, particulièrement dans les cas 2(Image 5) et 3 (Image 8), ce qui est confirmévisuellement. En effet, il est difficile de distinguer lesclasses à partir de l'image bruitée. Remarquons cependantque le cas 1 (Images 1, 2, 3), qui semble visuellementmoins bruité (les moyennes sont également les pluséloignées), est celui qui donne le taux d'erreur de lasegmentation par le MPM le plus élevé. Ce fait confirmel'influence de la loi a priori et des corrélations du bruitsur l'importance, du moins en ce qui concerne la fonctionde perte de la méthode Bayésienne MPM, de ce dernier.Image 1 Image 2 Image 3Image 4 Image 5 Image 6Image 7 Image 8 Image 9Fig. 1. Trois réalisations des champs de Markov couples : (Image 1, Image 2), (Image 4, Image 5), (Image 7, Image 8), etles segmentations par le MPM correspondantes.

Images 1, 2, 3 Images 4, 5, 6 Images 7, 8, 9α xs1 1 1β xs−2m xs−2m xs−2m xsγ xs x t2m xs2m xs2m xsa xs x t− 0,5 − 0,1 − 0,3b xs x t0,5m xt− 0,1m xt− 0,3m xtc xs x t0,5m xs− 0,1m xs− 0,3m xsd xs x t−0,5m xsm xt+ −0,1m xsm xt+ −0,1m xsm xt+ϕ(x s, x t)ϕ(x s, x t)m 11 1 1m 21,7 1,5 1,52σ 11 1 11,5ϕ(x s, x t)2σ 21 1 1ρ 110,65 0,05 0,18ρ 220,67 0,07 0,17τ 18,0% 07,9% 11,7%Nb 30 × 30 30 × 30 30 × 30Tab.1α xs, ... , d xs x t: les fonctions potentiels dans (16), lafonction ϕ étant définie par ϕ(x s, x t) = −1 six s= x tet ϕ(x s, x t) = 1 si x s≠ x t. m 1, m 2, σ 1 2 ,σ 2 2 : les moyennes et les variances dans (17). ρ 11, ρ 22: les covariances inter-classe estimées (pixels voisins). τ: les taux d'erreur des segmentations par le MPM. Nb :nombre d'itérations dans le MPM (lois marginalesestimées à partir de 30 réalisations, chaque réalisationétant obtenue après 30 itérations de l'échantillonneur deGibbs).4 ConclusionsNous avons proposé dans cet article une modélisationoriginale par champs de Markov, pouvant être utiliséedans des problèmes d'estimation des champs aléatoiresinobservables. Dans le cadre des traitements d'imagescette modélisation permet, en particulier, d'effectuer dessegmentations statistiques d'images texturées et bruitéespar du bruit corrélé. Contrairement au modèlehiérarchique de Derin et al., le modèle proposé permetd'appliquer les méthodes Bayésiennes MPM et MAP sansavoir recours à une quelconque approximation.La principale différence avec les modélisations parchamps de Markov cachés réside dans le fait que la loi apriori du champ aléatoire des classes n'est pasnécessairement une loi de Markov (ainsi le modèle n'estpas un champ de Markov caché car le champ caché n'estpas nécessairement de Markov).Nous avons présenté quelques simulations montrant lespossibilités de synthèse des images de classes texturéesd'une part, et de leur segmentation par la méthodeBayésienne MPM, d'autre part. Les simulations montrentque l'on peut obtenir, dans un cadre des modèlesrelativement simples, aussi bien des différenteshomogénéités des images de classes, que des différentescorrélations du bruit, donnant visuellement des texturesdifférentes. Malgré l'importance visuelle du bruit (ondistingue difficilement les classes dans les imagesbruitées) la segmentation par le MPM donne des résultatsencourageants.L'application du modèle proposé en segmentationd'images texturées et, éventuellement, bruitées par dubruit corrélé, réelles nécessiterait une méthoded'estimation de ses paramètres. La recherche de tellesméthodes constitue une perspective naturelle pour lapoursuite de notre travail.RemerciementsNous remercions Alain Hillion, Directeur Scientifique del'École Nationale Supérieure des Télécommunications deBretagne, pour les nombreuses discussions qui ontfortement contribué à la conception de ce travail.Références[Bes86] J. Besag, On the statistical analysis of dirtypictures, Journal of the Royal Statistical Society, SeriesB, 48, pp. 259-302, 1986.[ChJ93] R. Chellapa, A. Jain Ed., Markov RandomFields, Theory and Application, Academic Press, SanDiego, 1993.[CrJ83] G. R. Cross and A. K. Jain, Markov RandomField Texture Models, IEEE Trans. on PAMI, Vol. 5,No. 1, pp. 25-39, 1983.[DeE87] H. Derin and H. Elliot, Modelling andsegmentation of noisy and textured images using Gibbsrandom fields, IEEE Trans. on PAMI, Vol. 9, No. 1,pp. 39-55, 1987.[GeG84] S. Geman, G. Geman, Stochastic relaxation,Gibbs distributions and the Bayesian restoration ofimages, IEEE Trans. on PAMI, Vol. 6, No. 6, pp. 721-741, 1984.[Guy93] X. Guyon, Champs aléatoires sur un réseau,Collection Techniques Stochastiques, Masson, Paris,1993.

[NgC93] H. H. Nguyen and P. Cohen, Gibbs RandomFields, Fuzzy Clustering, and the UnsupervisedSegmentation of Textured Images, CVGIP: GraphicalModels and Image Processing, Vol. 55, No. 1, pp. 1-19,1993.[KDH88] P. A. Kelly, H. Derin, and K.D. Hart,Adaptive segmentation of Speckled images using ahierarchical random field model, IEEE Trans. on ASSP,Vol. 36, No 10, pp. 1628-1641, 1988.[LaD89] S. Lakshmanan, H. Derin, Simultaneousparameter estimation and segmentation of Gibbs randomfields, IEEE Transactions on PAMI, Vol. 11, pp. 799-813, 1989.[Lee98] T. C. M. Lee, Segmenting images corrupted bycorrelated noise, IEEE Trans. on PAMI, Vol. 20, No. 5,pp. 481-492, 1998.[MMP87] J. Marroquin, S. Mitter, T. Poggio,Probabilistic solution of ill-posed problems incomputational vision, Journal of the AmericanStatistical Association, 82, pp. 76-89, 1987.[Pie92] W. Pieczynski, Statistical image segmentation,Machine Graphics and Vision, Vol. 1, No. 1/2, pp. 261-268, 1992.[Pie94] W. Pieczynski, Champs de Markov cachés etestimation conditionnelle itérative, Traitement duSignal, Vol. 11, No. 2, pp. 141-153, 1994.[WoD92] C. S. Won and H. Derin, Unsupervisedsegmentation of noisy and textured images usingMarkov random fields, CVGIP: Graphical Models andImage Processing, Vol. 54, No 4, 1992, pp. 308-328.[YaG95] T. Yamazaki and D. Gingras, Imageclassification using spectral and spatial information basedon MRF models, IEEE Trans. on IP, Vol. 4, No. 9, pp.1333-1339, 1995.[You88] L. Younes, Estimation and annealing forGibbsian fields, Annales de l'Institut Henri Poincaré,Vol. 24, No. 2, 1988, pp. 269-294.