Les Probabilités du Bonheur, et les Aplications des Processus de ...

Les Probabilités du Bonheur, et les Aplications des Processusde Markov et de Levy dans les Mathématiques financières, Filesd’attente et FiabilitéMaster Mathématiques, Modélisation et SimulationFlorin Avram, Université de Pau1

Table des matières1 Processus et champs aléatoires 51.1 Les processus de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Chaînes de Markov 72.1 L’évolution de la loi de probabilité d’une chaîne . . . . . . . . . . . . . . . . 72.2 Probabilités de transition en n étapes . . . . . . . . . . . . . . . . . . . . . . 82.3 Quelques exemples de modélisation par les chaînes de Markov . . . . . . . . 92.4 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.5 Le comportement limite des chaînes de Markov . . . . . . . . . . . . . . . . 112.5.1 Lois invariantes et lois asymptotiques . . . . . . . . . . . . . . . . . . 112.5.2 L’ergodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.5.3 Le théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . . 142.6 Marches aléatoires et relations de récurrence . . . . . . . . . . . . . . . . . . 142.6.1 Marches aléatoires sur R d . . . . . . . . . . . . . . . . . . . . . . . . 152.6.2 Moments et cumulants des marches aléatoires . . . . . . . . . . . . . 162.6.3 La méthode du conditionnement sur le premier pas . . . . . . . . . . 172.6.4 La ruine du joueur pour la marche aléatoire simple . . . . . . . . . . 182.6.5 Probabilités du bonheur/fonctions harmoniques . . . . . . . . . . . . 232.6.6 Marches aléatoires sur les graphes : distributions stationnaires . . . . 242.6.7 Les espérances des temps d’atteinte, et les problèmes de Dirichlet nonhomogènes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262.6.8 Temps esperés de retour . . . . . . . . . . . . . . . . . . . . . . . . . 272.6.9 Méthode des fonctions génératrices . . . . . . . . . . . . . . . . . . . 312.6.10 Problèmes de premier passage sur un intervalle semi-infini . . . . . . 332.6.11 Les fonctions harmoniques des marches aléatoires de réseau (*) . . . . 342.6.12 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.7 Ou on voit que les probabilités de premier passage interviennent dans le comportementlimite des chaînes . . . . . . . . . . . . . . . . . . . . . . . . . . . 372.7.1 Le cas purement absorbant : les probabilités d’absorbtion . . . . . . . 382.7.2 La distribution limite dans le cas faiblement ergodique . . . . . . . . 392.7.3 Echauffement pour le cas general . . . . . . . . . . . . . . . . . . . . 402.7.4 Le comportement limite des chaînes, par la decomposition spectrale . 432.7.5 La structure probabiliste de la matrice de distributions a la longue . . 442.7.6 Le calcul de la distribution limite dans le cas général . . . . . . . . . 452.7.7 La périodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482.7.8 Le théorème de Perron-Frobenius . . . . . . . . . . . . . . . . . . . . 492.7.9 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502

Organisation de la Journée d'Etudes « Les dispositifs artistiques contemporains :les enjeux d'une nouvelle organologie », le 9 mai 2011, Maison de la recherche etDépartement d'Etudes Musicales, Université Charles de Gaulle – Lille 3[en collaboration avec Vincent Tiffon]Communications :- « Synthèse FM et musiques populaires : Hit or miss ? », John Chowning et Jean-Claude Risset : pionniers de la computer music, Colloque organisé par François-Xavier Féron, 26 septembre 2014, Laboratoire Bordelaix de Recherche enInformatique (LaBRI).- « Vortex Temporum de Gérard Grisey », Présentation de l’œuvre à l'invitation dePhilippe Guisgand dans le cadre de sa création par la compagnie Rosas, 4 décembre2013, Section Danse, Université Charles de Gaulle - Lille 3.- « Frank Zappa : xénochronique », Journées d'étude « Hommage à Frank Zappa(1940-1993) » organisées par Pierre-Albert Castanet et Juliette Boisnel, 3 décembre2013, GRHis – Université de Rouen.- « Le glissement plastique de l’enjeu d’interprétation dans les arts des sons : pour unformat d’indexation verticale », Journées d’Informatique Musicale 2012 organiséespar l'AFIM et Numediart – Institute for new media technology, 9 mai 2012,Université de Mons, Belgique.- « XY : un exemple d'organologie appliquée », Polygonale 2012 « Autour destravaux de Bernard Stiegler », Rencontre annuelle du réseau de recherche interécolesd'architectures organisée par Jean-Christophe Gérard et Frank Vermandel, 31mars 2012, ENSAP Lille.- « Pour une transmission de la pratique des installations : l'exemple de l'installationXY », ARTLab : images numériques et art contemporain, Colloque organisé parJean-Paul Fourmentraux, 23 septembre 2011, Le Fresnoy, Tourcoing [encollaboration avec Vincent Tiffon].- « L'installation, médium de la performance », Les dispositifs artistiquescontemporains : les enjeux d'une nouvelle organologie, Journée d'Etude del'EDESAC, 9 mai 2011, Université Charles de Gaulle – Lille 3.- « Spatialisation(s) : Ambient music et dispositifs de projection sonore »,Le cinéma et ses spectateurs : mobilité, positions, constructions, Séminaire doctoralspécialité études cinématographiques organisé par Édouard Arnoldy et DorkZabunyan, 22 avril 2010, Université Charles de Gaulle – Lille 3.- « Les interfaces musicales : la question des instruments "aphones" », L'instrumentde musique : approches ontologiques et esthétiques, Séminaire de recherche organisépar Bernard Sève, UMR 8163 – STL, 23 mars 2010, Université Charles de Gaulle –Lille 3.CV Romain Bricout, page 4/8

Chapitre 1Processus et champs aléatoiresBeaucoup de problèmes en physique, biologie, etc, ramène à l’étude des champsaléatoires, qui sont des collections des variables aléatoires X t , t ∈ I, où l’ensemble desindices I peut-être N d , Z d , R d , un ensemble fini, etc. Pour le cas des indices unidimmensionelsI = N(Z) et I = R on utilise aussi le nom processus stochastiques (à temps discret,respectivement continu).Définition 1.0.1 Soit I un ensemble quelconque. On appelle processus aléatoire X indexépar I toute famille (X t ) t∈I , de vecteurs aléatoires définis sur un même espace de probabilité(Ω, A, P ) et à valeurs dans d’états E. Celui la peu-être E = R p , C p , ou même un espace desfonctions comme E = C [0,∞) , C (p)[0,∞) , etc.Note : Lorsque E = R p et p = 1, une seule valeur est observée à chaque ”instant” t,alors que lorsque p > 1, plusieurs variables sont observées et on parle de processus multidimensionnelsou multivariés.L’espace I est souvent le temps, ainsi :I = N : instants successifs à partir d’un instant initial t 0 .I = Z : instants successifs avant et après un instant t 0 .I = R ou R + : idem mais processus à temps continu.I = Z 2 : images.I = Z 3 : modèle de la matière.Nous allons considèrer ici seulement des processus à indices unidimmensionels N, Z, R(les premièrs deux cas étant appellés aussi séries chronologiques en statistique). L’étude estfacilité alors par l’existence d’un ordre complet entre les indices.Dans le cas des espaces d’états E finis ou dénombrables, les variables X i , i ∈ I sontappellées discrètes ; pour E = R d , on parle des variables continues. Le cas discret est le casplus simple, car il permet d’éviter plusieurs details téchniques (par exemple, dans ce cas,l’ensemble des evenements mesurables pour une variable X i0 est simplement l’ensemble detoutes les parties de E).Pour modéliser un champs/processus il est necessaire de spécifier de manière consistentel’ensemble de toutes ses distributions jointes d’ordre fini.Définition 1.0.2 Soit X . = X t , t ∈ I un champs aléatoire et soit J ⊂ I un sous ensemblefini. On dénotera par X J la distribution jointe des variables X t , t ∈ J. L’ensemble X J : J ⊂I, |J| < ∞ sera appellé la famille des distributions jointes d’ordre fini de X .En pratique, des proprietés supplementaires sont necessaires pour reduire la complexitéinherente dans le modèle ci dessu.5

Les processus à variables X t indépendants sont simples à utiliser, mais peut-être tropsimples pour modéliser des phénomènes intéressants. dans ce cas, les distributions jointessont simplement des produits.Le prochaîne degré de complexité est donné par les processus Markoviens. Ils incluentles marches aléatoires S n = ∑ ni=1 Z i, Z i i.i.d., mais cette famille est aussi une trasformationsimple des processus à variables indépendants, et ça simplifie son étude (par exemple ladémonstration du CLT).La classe des processus Markoviens est extremement riche, avec une complexité quidepend des ensembles E, I.1.1 Les processus de MarkovDéfinition 1.1.1 -Proprietè de MarkovUn processus X = (X t ) t≥0, avec t unidimmensionel a la proprietè de Markov si, etseulement si ses probabilités conditionelles ne depend pas du passé que par le passé imediat,i.e. ∀ 0 ≤ t0 < t 1 < · · · < t k < t , t i ∈ R, et ∀ e i0 , e i1 , ..., e ik , e i ∈ EP ([X t ∈ A] | [X t0 = e i0 , ..., X tk = e ik ]) = P ([X t ∈ A] | [X tk = e ik ])Interprétation de la propriété de Markov : si on considère que le processus est indicé parle temps, cette propriété traduit le fait que le présent ne dépend du passé qu’à travers lepassé immédiat.Un processus ayant la proprietè de Markov s’apelle processus de Markov.Exemples : 2.3 et 2.1 de Ruegg, et les exemples de Belisle.Définition 1.1.2 Matrice des transitionsPour tous 0 ≤ s ≤ t, pour tous i, j dans I, et pour chaque processus de Markov, ondéfinit les probabilités de transition par :p ij (s, t) = P ([X t = e j ] | [X s = e i ]) .Définition 1.1.3 Homogeneité des transitionsUn processus est dit homogène si, et seulement si :∀ i, j ∈ I , ∀ 0 ≤ s ≤ t , p ij (s, t) = p ij (0, t − s) .On note alors p ij (s, t)= p ij (t − s), et la matrice p ij (t) est appellée matrice de transitionaprès temps t.Hypothèse de travail : (H1) On ne considérera ici que des processus homogènes.L’exemple le plus simple des processus de Markov homogènes est fourni par les ”chaînesde Markov” en temps discret et à espace d’états fini ou dénombrable.6

Chapitre 2Chaînes de MarkovOn considére maintenant le cas des processus X n observés en temps discret : n =0, 1, 2, ....La propriété de Markov a lieu quand la loi conditionnelle de X n sachant (X 0 , X 1 , ..., X n )est la même loi que la loi conditionnelle de X n sachant X n−1 .Ces processus sont entièrement characterisés par leur matrice de transition p i,j (1) =P ([X n = e j ] | [X n−1 = e i ]) après temps 1, qu’on denotera par p i,j .Définition 2.0.4 Une chaîne de Markov (X n ) n∈Nest dite homogène si :∀ e i , e j ∈ E , P ([X n = e j ] | [X n−1 = e i ]) ne dépend pas de n.La matrice P = (p ij ) i,j∈I, appellée matrice de transition, est la plus importante characteristiqued’une chaîne. Cette matrice P est une matrice stochastique, c’est-à-dire unematrice telle que :1. ∀ i, j ∈ I , p ij ≥ 0 et2. ∀ i ∈ I , ∑ j∈Ip ij = 1 ; la somme des termes de chaque ligne égale à 1. En notationvectorielle, on a P 1 = 1, ou 1 denote un vecteur avec tous les composantes 1.Rémarque : Même qu’on utilise parfois le terme ”matrice” si E est infini, la theorie dans cecas est un peu differente.2.1 L’évolution de la loi de probabilité d’une chaîneDéfinition 2.1.1 Pour tout n de N et tout i de I, on note µ i (n) = P [X n = e i ] et µ (n) =(µ i (n)) i∈I. Le vecteur µ (n) définit une probabilité sur (E, P (E)) appelée loi à l’instant n.On appelle loi initiale de la chaîne (X n ) n∈Nle vecteur µ (0) .Exemple 2.1.1 Calculer les distributions µ (1) , µ (2) pour une marche sur le graphe papillon,en sachant que :a) le départ est surement à 0b) le départ est avec probabilités egales en 0 ou en U, i.e. µ (0) = (1/2, 0, 0, 0, 1/2).En conditionnant sur la position k un pas en avant, on verifie que µ (1) = µ (0) P, etµ (n + 1) = µ (n) P (2.1)7

OUBAFigure 2.1 – Marche aléatoire simple sur le graphe papillonCet alors par induction on trouveµ (n) = µ (0) P n (2.2)Exemple 2.1.2 Soit (X n ) n∈Nune chaîne de Markov homogène sur(l’ensemble {1,)2}, dedistribution initiale µ(0) = (µ 1 , µ 2 ) et de matrice de transition P = 1 − a ab 1 − bCalculez P{X 0 = 2, X 1 = 2}, c 2 (1) = P{X 1 = 2}, P{X 0 = 2|X 1 = 2}, P{X 0 = 2, X 1 =2, X 2 = 1}, c 2 (2) et P{X 0 = 2, X 2 = 1}.Ce dernier exercice nous sugère la necessité d’étudier la probabilité de transition aprèsn étapes.2.2 Probabilités de transition en n étapesDéfinition 2.2.1 Pour tout n de N , on définit la matrice des probabilités de transition en n étapes,( )elle est notée P (n) = p (n)ij où p (n)ij = P ([X n = e j ] | [X 0 = e i ]) .i,j∈INote : La distribution de X 1 en partant de X 0 = i, est donné par la ligne i de la matriceP , et la distribution de X n en partant de X n−1 = i est donné par la ligne i de la matrice P n .Théorème 2.2.1 Les matrices de transition en n étapes ont une structure de semi-group,i.e.P (m+n) = P (m) P (n) (2.3)Ce resultat très important s’appelle l’equation de Chapman-Kolmogorov .Démonstration: Soit (X n ) n∈Nune chaîne de Markov homogène de matrice de transitionP et de loi initiale µ (0), à valeurs dans (E = {e i ; i ∈ I} , P (E)). En conditionnant sur laposition k après m pas, on a :∀ i, j ∈ I , ∀ m, n ∈ N , p (m+n)ij= ∑ k∈Ip (m)ikp(n) kj8QED

Corollaire 2.2.1 P (n) = P n , i.e. le semi-groupe des matrices de transition est ”generé”par la matrice P de transition après temps 1.Demonstration : on montre ça par récurrence sur n, en partant de P (1) = P , et en tenantcompte que P (n+1) = P (n) P (par l’equation de Chapman-Kolmogorov (2.3)).Rémarque Comme illustré dans les exemple ci-dessus, en utilisant la distribution initaleµ (0) et la matrice de transition P on peut calculer la distribution µ (n) a n’importe queltemps, par exemple µ (1) , µ (2) .... et aussi les distributions jointes pour n’importe quelensemble fini des temps (en utilisant la loi de multiplication des probabilités conditionnelles).En effet, on peut donner une formule explicite pour les distributions jointes d’ordre fini d’unechaîne, en fonction de la matrice de transition P et la distribution initiale µ(0).Théorème 2.2.2 Pour une chaîne de Markov, les distribution jointes sont données pour :∀t 0 < t 1 < · · · < t k , t i ∈ R, et ∀ e i0 , e i1 , ..., e ik ∈ E explicitement parP [X t0 = e i0 , ..., X tk = e ik ] = µ i0 (t 0 )P t 1−t 0i 0 ,i 1...P t k−t k−1i k ,i k−1(2.4)Remarque 2.2.1 Il est convenable d’identifier une chaîne de Markov avec sa matrice detransition P , qui est l’element principal du ”duo” (P, µ(0)).Définition 2.2.2 La chaîne de Markov associé à une matrice stochastique P est la familledes mesures P µ(0) définies par (2.4), avec operateurs d’esperance associés E µ(0) (donc pourobtenir une seule mesure, il faut encore specifiér la mesure initiale µ(0)).2.3 Quelques exemples de modélisation par les chaînesde MarkovPour modéliser une situation par une chaîne de Markov, on a besoin d’abord de choisirun espace d’états convenable tel que la proprieté de Markov est satisfaite, et ensuite dedéterminer la matrice de transitions.Exemple 2.3.1 Un processus qui n’est pas une chaîne de Markov a priori, mais qu’on peut”rendre” Markov par un bon choix de l’espace d’états . Soit (X n ) n∈Nun processus à deuxétats, notés e 1 et e 2 . On suppose que les transitions entre les étapes n et n + 1 s’effectuentselon le procédé suivant :{Si Xn−1 = X n alors P ([X n+1 = e 1 ] | [X n = e i ]) = 3 4Si X n−1 ≠ X n alors P ([X n+1 = e 1 ] | [X n = e i ]) = 1 2a) Montrer que (X n ) n∈Nn’est pas une chaîne de Markov. b) Construire un espace d’étatspermettant de modéliser ce processus par une chaîne de Markov et donner alors son graphe.Solution : b) On construit l’espace d’états suivant : {e 1 ∗ e 1 , e 1 ∗ e 2 , e 2 ∗ e 1 , e 2 ∗ e 2 }. Surcet’espace, le processus devient Markovien, et la matrice de transition s’écrit :⎛⎞3 10 04 4 P = ⎜ 0 0 1 12 2 ⎟⎝ 1 10 0 ⎠2 20 0 3 14 49

Exemple 2.3.2 Une companie d’assurance voiture a un système de bonus avecniveau 1 : 0% réductionniveau 2 : 25%réductioncinq niveaux pour les assurés sans sinistres déclarés : niveau 3 : 40% réductionniveau 4 : 50% réductionniveau 5 : 60% réductionPour un assuré, la probabilité de ne pas avoir de sinistre dans un an est de 0.8. Les reglesselon on passe d’un niveau (état)à l’autre sont :Apr`s une année sans sinistre on passe au niveau supérieur suivant ou on reste auniveau 5Apr`s une année avec un ou plusieurs sinistreson diminue d’un niveau si l’année précedente, il n’y a pas eu de déclaration desinistre.on diminue de deux niveaux si l’année précedente il y a eu au moins unedéclaration de sinistre.1. Notons par X(t) le niveau,soit 1, 2, 3, 4 ou 5, de l’assuré pour l’année t. Expliquezpourquoi {X(t)} ∞ t=1 n’est pas une chaîne de Markov.2. En augmentant le nombre de niveaux, définissez un nouveau processus stochastique{Y (t)} ∞ t=1 qui soit Markov et de telle manière que Y (t) représente le niveau de réductionpour l’assuré dans l’année t.3. Déduire la matrice de transition pour la chaîne de Markov {Y (t)} ∞ t=1.Solution :1. {X(t)} n’est pas Markov parce que, par exemple, P[X t+1 = 3 | X t = 4, X t−1 = 3, . . .]ne peut pas se réduire à P[X t+1 = 3 | X t = 4].2. Définition des nouveaux niveaux :3=40% réduction cette année, apr`s 25% l’année dernière4=50% réduction cette année, apr`s 40% l’année dernière3a=40% réduction cette année, apr`s 50% l’année dernière4a=50% réduction cette année, apr`s 60% l’ann’ee dernière3. La matrice de transition est alors1 2 3 4 5 3a 4a1 0.2 0.8 0 0 0 0 02 0.2 0 0.8 0 0 0 03 0 0.2 0 0.8 0 0 04 0 0 0 0 0.8 0.2 05 0 0 0 0 0.8 0 0.23a 0.2 0 0 0.8 0 0 04a 0 0.2 0 0 0.8 0 0Exemple 2.3.3 Supposons que une pluie eventuelle demain depend de la situation du tempsdans les trois jours précédents, ainsi : a) S’il y a eu de la pluie dans les deux jours précédents,alors il va pleuvoir avec probabilité .8. b) S’il y a pas eu de la pluie dans aucun des troisjours précédents, alors il va pleuvoir avec probabilité .2. c) Autrement, la situation va etrela meme comme dans le jour precedent avec probabilité .6. Modéliser cette situation par unechaîne de Markov, en donnant l’espace des états et la matrice de transition.2.4 Classification des étatsDéfinition 2.4.1 Soient e i et e j deux éléments de E. On dit que e i conduit à e j (on notee i → e j ) ssi il existe n > 0 tel que p (n)ij > 0 et on dit que e i et e j communiquent (et on notee i ↔ e j ) si e i conduit à e j et e j conduit à e i .10

Rémarque : la relation ” ↔ ” est clairement symétrique, reflexive et transitive. alors,elle partage l’espace d’états dans des classe d’équivalence.Définition 2.4.2 On appelle classes de la chaîne : les classes d’équivalence induites par larelation ” ↔ ” sur E.Définition 2.4.3 Une classe d’equivalence dans une chaîne de Markov finie qui n’a pas detransitions vers l’exterieur est dite récurente ; les autres classes s’appellent transitoires.Rémarque : La distinction entre elements transients et recurents a une grande portéesur la valeur des limites lim n→∞ P n (i, j). On verra que pour j transient, elle est toujours 0.Définition 2.4.4 Le graphe de communication d’une chaîne est un graphe sur les états (indiquéspar des points du plan), avec des cotés représentant les transitions possibles (indiquéspar des flèches, avec la valeur de la probabilité de transition notée au dessus).2.5 Le comportement limite des chaînes de Markov2.5.1 Lois invariantes et lois asymptotiquesUne question très importante pour les chaînes de Markov est de déterminer les distributions“asymptotiques/a la longue/limites” d’une chaîne specifié par µ(0) et P :π(∞) µ(0) = π(∞) = limn→∞µ (n) = limn→∞µ(0)P n (2.5)A priori, il pourrait y exister une limite asymptotiques différente (2.5) pour chaquedistribution de départ µ(0). Plus précisement, on pourrait avoir des distributions limitedifférentes π(∞) i pour chaque point de départ sur µ(0) = δ i .Remarque 2.5.1 Comme δ i P n est précisement la ligne i de la matrice P n , on trouve par(2.5) que les limites asymptotiques π(∞) i pour chaque point de départ nonaléatoire possiblei = 1, ..., I sont précisement les lignes de la matriceP = lim P nn→∞. On appelera cette matrice la matrice de transition asymptotique. En plus, ces vecteurs deprobabilité sont les points extremaux de l’ensemble des toutes les distributions asymptotiquespossibles.Alors, la question de l’ergodicité = existence + unicité de la distribution asymptotiquesest equivalente à la question :Question (ERG) : Est-ce-que la limite matrice P = lim n→∞ P n existe et estce-queelle a des lignes identiques, i.e. est-ce-que on a P = 1π ? (ici 1 denote unvecteur colonne et π un vecteur ligne).Les reponses aux questions (E),(U) et (ERG) peuvent-être abordées par la structurespectrale (valeurs propres, vecteurs propres) speciale de la matrice P , en utilisant le théorèmede Perron-Frobenius pour les espace d’états finies.et encore des autres limites données par l’ensemble convexe engendré par π(∞) i , i ∈ E.Définition 2.5.1 L’ensemble des distributions limite π(∞) µ(0) d’une chaine P, obtenues envariant la distribution initiale µ(0), sera appellé l’ensemble des distributions asymptotiques.11

ReqÉquations d’équilibre/stationnarité/invarianceRemarque 2.5.2 En supposant que la limite (2.5) existe (ce qu’il n’y est pas toujours lecas), on voit par µ(n + 1) = µ(n)P que chacune de cettes distributions “a la longue” doitsatisfaire les équations π(∞) = π(∞)PDéfinition 2.5.2 Les équationsπ = πP (2.6)sont appelées équations d’équilibre/stationnarité/invariance, et un vecteur des probabilitésqui les satisfait est appelé distribution stationnaire ou invariante.Autrement dit : une distribution stationnaire π est un vecteur de probabilités qui est aussivecteur propre a gauche de P associé à la valeur propre 1.Remarque 2.5.3 Le nom stationnaire vient du fait que si µ(0) = π, alors on a µ(n) = πpour chaque n.Par la rémarque (2.5.2), il suit que :inc0Corollaire 2.5.1 Les distributions asymptotiques d’une chaîne de Markov homogène setrouvent parmi les distributions stationnaires.Le système d’équilibre (2.6) est donc la clé du calcul des distributions asymptotiques. Deuxquestions fondamentales ici sont celles de l’existence d’au moins une solution, et de l’unicité.Questions (E-U) : 1) Est-ce que c’est possible qu’il n’existent pas des vecteursdes probabilités qui satisfont le système d’équilibre (2.6) (i.e. est-ce que c’estpossible qu’il n’y ait pas des vecteurs propres pour la valeur propre 1 qui onttoutes les composants nonnégatives) ? 2) Est-ce que c’est possible qu’il existentplusieurs vecteurs des probabilités qui satisfont le système d’équilibre (2.6) ?Une autre question fondamentale est si dans la presence d’une solution unique dusystème d’équilibre (2.6), elle sera forcement ”attractive”, donc il y aura de la convergencelim n→∞ µ(0)P n = π pour n’importe quel µ(0).Dans la términologie des systêmes dynamiques, cette situation correspond au cas quandl’équation d’évolution µ(n + 1) = µ(n)P admet un seul point invariant stable, le basind’attraction du quel est tout l’éspace (donc toutes les orbites qui partent de n’importe quelµ(0) convergent vers π). Mais, il y a aussi des situations plus compliquées :Exemple 2.5.1 L’inexistence de la limite P = lim n→∞ P n pour les chaînes cycliques.La limite P n’existe pas toujours, comme on voit immediatement en examinantune chaîne de Markov qui bouge cycliquement sur les noeuds d’un graphe. Par exemple, pourn = 3, avec(la matrice)de transition( )0 1 00 0 1P = 0 0 1 , on a : P 3n = I 3 , P 3n+1 = P et P 3n+2 = P 2 = 1 0 0 .1 0 00 1 0On voit immediatement que la suite P, P 2 , P 3 = I, P 4 = P, ... est cyclique et donc sanslimite.Ici, la distribution stationnaire π = (1/3, 1/3, 1/3) est unique, mais instable, et toutl’espace se decompose dans des cycles invariants instables d’ordre 3.12

Les équations d’équilibre localExemple 2.5.2 Pour une marche aléatoire X t , t = 0, 1, 2, ... sur un graphe formé dedeux tetrahèdres superposés, calculer :1. L’ésperance en partant de U du nombre de pas T O jusq’au coin opposé O.Indication :Utiliser la symmetrie.2. L’ésperance en sortant de O du nombre de pas ˜T O jusq’au premier retour à O.3. La probabilité p A = P A {X T = U}, ou T = min[T U , T O ].4. La probabilité p k en partant de O que la marche visite U exactement k fois (k =0, 1, 2, ...) avant le premier retour à O. Vérifier la somme ∑ ∞k=0 p k.5. Les probabilités stationnaires du chaque noeud. Indication : Devinez la rèponse etmontrez qu’elle satisfait le systême des équations d’équilibre.2.5.2 L’ergodicitéUn cas trés fréquent dans les applications et quand il n’y a qu’une distribution stationnaireπ, qui coincide aussi avec la distribution limite pour toutes les points de départinitials possibles. Alors, par le corrollaire (2.5.1), la distribution limite est independante dela distribution de départ, est egale à π. Nous allons appeler ça le cas ergodique.Définition 2.5.3 On appelle une chaîne à matrice de transition P ergodique lorce’que ladistribution limite π(∞) = π(∞)(µ(0)) = lim n→∞ µ (n) existe et est unique, independementde la distribution de départ.Note : Dans le cas des espace d’états dénombrable, il est important de distinguerles deux cas quand la distribution limite satisfait π i > 0, ∀i et le cas quand elle satisfaitπ i = 0, ∀i. Nous appelerons ces deux cas ergodique positive et ergodique nul (ce derniercas étant impossible pour des espace d’états finies). Dans la literature, le terme ergodiquesignifie d’habitude ce que nous appelons ici ergodique positive.inc Remarque 2.5.4 Une chaîne ayant des distributions limite en partant de chaque point i,et ayant une distribution stationnaire unique π est ergodique (i.e. toutes les distributionasymptotiques doivent coincider avec π).L’abondance du cas ergodique est expliquée par la décomposition spectrale :Lemme 2.5.1 Une matrice A de dimension n ayant un ensemble de n vecteurs propres àdroite independants d i , et donc aussi un ensemble de n vecteurs propres à gauche independantsl ′ i, calculés en prenant les lignes de la matrice D −1 , où D = (d 1 | d 2 | ... d n )peut-être decomposé :A = ∑ iλ i d i l ′ ioù λ i sont les valeurs propres.Ce cas a lieu par exemple quand tous les valeurs propres de P sont distincts (”le casgénérique”). Si en plus la seul valeur propre de module 1 est 1, et avec multiplicité 1 (”le casgénérique”), il suit immediatement quelim P n = 1 πn→∞Nous examinons maintenant pour ergodicité un exemple ou P n et π se calculent explicitement:13

Exemple 2.5.3 Chaîne a deux ètats. Soient a, b ∈ [0, 1] et la matrice de transition :P =( 1 − a ab 1 − b)a) Montrer en calculant les valeurs et vecteurs propres queP n = 1a + b( b ab a)+(1 − a − b)na + b( a −a−b bb) Montrez que avec a, b ∈ (0, 1), la limite P = lim n→∞ P n =calculez cette limite dans tous les cas possibles.)( ba+bba+baa+baa+b). En suite,En conclusion, on voit que avec a, b ∈ (0, 1), la limite matrice P = lim n→∞ P n existeet qu’elle a des lignes identiques, donc la chaîne est ergodique : la distribution limitebπ = (a + b , a) est unique. Elle est aussi l’unique distribution stationnaire.a + b2.5.3 Le théorème ergodiqueLe cas ergodique est le plus important dans les applications, a cause du :moyThéorème 2.5.1 Soit X(n) une chaîne de Markov ergodique à distribution asymptotiquesπ, et soit une fonction ”coût” f tel que la ”moyenne spatiale” Eπf(X . ) = ∑ j∈E π jf j est biendefinie. Alors, la moyenne temporelle des coûts converge presque partout vers la moyennespatiale, for any initial distribution :limn→∞ n−1n∑f(X n ) = ∑ π j f jj∈Ei=1Nous examinons maintenant un exemple ou P n n’est pas disponible explicitement ; quandmême, la distribution stationnaire π est unique et donc la limite des coûts moyenne temporellesse calculent facilement :Exercice 2.5.1 Montrez que la marche aléatoire sur le graph papillon a une distributionstationnaire unique π. Calculez l’esperance du coût moyenne de cette marche, si f(A) =10, f(B) = 1 et les autres coûts sont 0.2.6 Marches aléatoires et relations de récurrenceMotivation : Les marches aléatoires sont parmi les modèles probabilistes les plus utiles(par exemple en physique, mathématiques financières, files d’attente, statistique, etc...). Ilssont aussi parmi les modèles les meilleurs compris, car ils permettent souvent des solutionsanalytiques.14

2.6.1 Marches aléatoires sur R dDéfinition 2.6.1 Marches aléatoires sur R d .Soit (Z n ) n∈Nune suite de variables aléatoires réelles i.i.d (i.e. indépendantes et de mêmeloi), à valeurs en R d .Le processus X n ∈ R d , n = 0, 1, ... donné par la somme de ces variablesX n = X 0 + Z 1 + Z 2 + · · · + Z n , n ∈ N (2.7)s’appelle marche aléatoire. Comme alternative, la marche aléatoire peut-être definierécursivement par la récurrenceX n = X n−1 + Z n (2.8)Exemple 2.6.1 Marches aléatoires sur Z d Typiquement, on s’interesse au cas où l’espaced’états est un maillage régulier comme Z d , i.e. X 0 , Z n ∈ Z d ont une distribution discrètep = (p i , i ∈ Z d ). Dans ce cas, nous avons à faire à une chaîne à espace d’états dénombrable.Exemple 2.6.2 Si en plus |Z n | = 1, i.e. p i ≠ 0 ssi i est un voisin de l’origine, le processus(2.7) est appelé une marche aléatoire simple.Exemple 2.6.3 Marches aléatoires sur Z Pour les marches sur Z, la matrice de transitionP = (pij = P{X n = j/X n−1 = i} = P{Z n = j − i}) i,j∈Na aussi la propriété que P i,j =p i−j , où p k = P{Z n = k} ; les matrices de cette forme, i.e. à “diagonales” constantes,s’appellent matrices Toeplitz.Exemple 2.6.4 Pour une marche aléatoire simple en dimension d = 1, la distribution de Z nest de la forme pδ 1 + (1 − p) δ −1 , i.e. P [Z n = 1] = p et P [Z n = −1] = 1 − p avec 0 < p < 1.Si p = q = .5 on parle d’une marche aléatoire symmetrique, et avec p ≠ q on parled’une marche aléatoire biaisée.Extension : Si on remplace les probabilités p j par des probabilités p i,j := P Xn−1 =i[X n −X n−1 = j] on arrive à une chaine de Markov.Théorème 2.6.1 Les marches aléatoires sur R d ont la propriété de Markov.Démonstration: Ce résultat est assez facile à démontrer en général, en partant de(2.8), mais nous allons considérer seulement les marches aléatoires sur Z d , pour rester dansle cadre des processus à espace d’états dénombrable. Dans ce cas, il est suffisant d’exhiberla matrice de transition .Notes : 1) On a à faire ici à des sommes des v.a. i.i.d.. Donc, P n (0, :) la distributionde la somme ∑ ni=1 Z i, est donnée par la n-ième convolution de la distribution p de Z i (et lafonction génératrice des moments est la puissance n de la fonction génératrice des momentsde p). Le comportement des puissances P n pour n → ∞ est lié au théorème de la limitecentrale.15

2.6.2 Moments et cumulants des marches aléatoiresExercice 2.6.1 Les moments et cumulants de la marche simple. Soit X 0 = 0 ∈ N lecapital initial d’un joueur. Au temps n = 1, 2, ..., le joueur gagnera Z n = 1 avec probabilité pet perdera Z n = −1 avec probabilité 1 − p, où 0 < p < 1. Soit X n = X 0 + Z 1 + Z 2 + · · · + Z nson capital au temps n.Calculez :1. L’esperance du son gain e n = EX n .2. La variance du son gain v n = Var X n .3. La fonction génératrice des moments M(u, n) = Ee uX n.4. La cumulant generating function κ(u, n) = log(Ee uX n).Notes : 1) Il est clair que ces propriétés de linéarité (de l’espérance , de la variance, etde la cumulant generating function ), sont vraies pour chaque marche aléatoire.2) La connaissance de la distribution ou de la fonction génératrice des moments d’unevariable X sont typiquement equivalents. Mais, pour une somme ∑ ni=1 Z i des v.a. i.i.d.,pendant que la comme distribution est la n-ième convolution p ∗,n de la p distribution de Z i ,la fonction génératrice des moments Ee θ ∑ ni=1 Z iest beaucoup plus simple à obtenir (ètant lan-i `me puissance de la fonction génératrice des moments Ee θZ 1).Exercice 2.6.2 Soit m n = m n (X), n = 0, 1, 2, ... les moments d’une va X, soit κ X (u) =log M X (u) = log( ∑ u nnm n! n) = ∑ u nnc n! n(X) la fonction génératrice des cumulants, où c n =c n (X) = ∂n κ(u)sont les cumulants.(∂u) n u=0a) Montrez (en utilisant eventuellement un logiciel symbolique) que ∀X, c 0 = 0, c 1 =m 1 , c 2 = Var (X) = m 2 − m 2 1, c 3 = m 3 − 3m 1 m 3 + 2m 3 1, etc.b) Montrez (en utilisant eventuellement un logiciel symbolique) que ∀X, m 2 = c 2 +c 2 1, m 3 = c 3 1 + 3c 1 c 2 + c 3 .Nt : 1) Le cumulant d’un ordre donné est un polynome dans les moments d’ordre pluspetit ou égal, et reciproquement.2) Les coefficients de l’expansion des moments en fonction des cumulants sont donné pardes nombres des partitions.3) Les cumulants d’une variable centré (m 1 = 0) coincide avec les moments jusqu’autroisième ordre. C’est le quatrième cumulant, la ”kurtosis”, donné dans le cas centré parc 4 = m 4 − 3m 2 2, qui joue un role important dans certaines tests statistiques (comme denonnormalité, par exemple).Exercice 2.6.3 Pour la marche simple, calculez1. Le premier, deuxième et troisième cumulants κ i (n), i = 1, 2, 3 de X n , i.e. les premierstrois coefficients dans l’expansion κ(u, n) = ∑ i κ i(n)u i en puissances de u.2. Le deuxième moment de X n . Quelle est la particularité du cas p = 1/2 ?3. Le troisième moment de X n .16

2.6.3 La méthode du conditionnement sur le premier pasExercice 2.6.4 La marche aléatoire symetrique. On cherche a trouver la probabilitéd’un joueur qui s’engage dans une série de parties (indépendantes) à un jeu où à l’issue dechaque partie il gagne 1F avec une probabilité 1/2 et perd 1F avec une probabilité 1/2, et quidécide de s’arrêter de jouer dès qu’il aura B francs en poche, ou dès qu’il n’a plus d’argent.Pour tout n ∈ N, on note X n la fortune du joueur au bout de n parties, et X 0 = i sa fortuneà l’entrée dans le Casino.Ca revient a étudier la marche aléatoire symetriqueX n = X 0 + Z 1 + Z 2 + · · · + Z n , X n ∈ Zavec P [Z n = 1] = P [Z n = −1] = 1/2, jusqu’au ”temps d’arrêt/sortie” T = min[T 0 , T B ]quand le process sort de l’interval [0, B] (en prenant 0 et B comme états absorbants). Ondénotera par E i l’esperance en commençant de i (conditionnant sur X 0 = i), et on designepar E l’événement que le joueur gagne, i.e.E = {x T = B} = [∃n ∈ N tel que X n = B, X k > 0, k = 1, ..., n − 1] .Pour tout i de {0, ..., B}, on pose :(la probabilité du ”bonheur”).b i = P (E | [X 0 = i])1. En supposant B = 3, enumerer et esquisser l’espace de tous les chemins du bonheur/ruinequi commencent avec X 0 = 1, en developpant ”l’arbre de toutes les possibilités”.Calculer la probabilité du chaque chemin, et verifier que leur somme vaut1.2. Expliquer graphiquement sur ”l’arbre de toutes les possibilités” les équations b 1 =1/2b 2 , b 2 = 1/2b 1 + 1/2, en assoc. Déduiser b 0 , b 3 , et en suite b 1 , b 2 .3. En supposant B = 4, calculer b 1 , b 2 et b 3 .4. Calculer b i , i = 0, ..., B pour B quelconque.5. Calculez l’espérance du nombre des pas du jeux, pour B quelconque.R : On pourrait essayer de calculer b i en ajoutant les probabilités de tous les chemins dubonheur qui commencent avec X 0 = 1 (en regardant l’arbre de toutes les possibilités). Maiscomme cet arbe est (typiquement) infini et très compliqué, cette analyse n’est pas facile. Parcontre, une approche ”diviser por conquérir” de décomposition de l’arbre dans ses branchesobtenues en conditionnent sur le premier pas ramm‘ene à des’équations linéaires faciles àrésoudre.Cet exercice illustre trois idées :1. La puissance de la méthode du conditionnement sur le premier pas.2. Le calcul des esperances pour les chaînes de Markov comporte des systèmes linéairesavec une inconnue pour chaque état initial possible.3. Les systèmes associés avec un processus fixe implique toujours la même partie homogèneappellée ”operateur”. Dans le cas des chaînes de Markov en temps discret età espace d’états fini ou dénombrable, l’ operateur est simplement P − I, où P est lamatrice de transition P .Ces idées seront aprofondies dans les chapitres suivants, où nous regarderons quelquesautres problèmes résolubles par le conditionnement sur le(s) premier(s) pas.17

5. Obtenez un système d’équations pour l’espérance du gain final f i = E i X T . Calculezcette fonction pour p = q.6. Obtenez un système d’équations pour l’espérance du temps de jeu : t i = E i T . Calculezcette fonction, pour p = q, et pour p < q, quand B → ∞.7. Obtenez un système d’équations pour l’espérance du ”coût cumulé d’inventoire” c i =E i∑ T −1t=0 X t. Calculez cette fonction, pour p = q, et pour p < q, quand B → ∞.8. Obtenez un système d’équations pour w i = E i a T = ∑ k=0 P i[T = k]a k (qui est lafonction génératrice des probabilités P i [T = k]). Calculez cette fonction, pour p ≠ q.9. Obtenez les équations de récurrence et les conditions frontière satisfaites par u x =E x a T g(X T ), a ∈ (0, 1) et par v x = E x [a T g(X T ) + ∑ T −1t=0 h(X t)], a ∈ (0, 1).Résolvons cet exercice en utilisant la méthode du conditionnement sur le premier pasZ 1 , l’idée de quelle est d’obtenir des relations de récurrence qui lient les valeurs de l’espéranceconditionnée à partir de tous les points de départ possibles.Nous verrons, en examinant les questions 2)-8) de cet exercice, qu’ils utilisent toutes lemême opérateur(Gf) n := (P − I)(f) n = p f n+1 + q f n−1 − f n (2.9) opla seule difference étant dans les conditions frontière et dans la partie nonhomogène. En plus,ils se regrouperont en deux types de questions :1. ”Gain final esperé”, satisfaisant :f n = E n [g(X T )] = pf n+1 + qf n−1 ⇐⇒ (Gf) n = 0,F (0) = g(0), F (B) = g(B)2. ”Coût total accumulé esperé”∑T −1f n = E n [ h(X i )] = h(n) + pf n+1 + qf n−1 ⇐⇒ (Gf) n = 0, f(0) = 0, f(B) = 0Solution :1. b 0 = 0, b B = 102. Gain final esperé, g(x) = 1 x=B .En conditionnant, on trouve :b n = P n [X(T ) = B]= p P n [X(T ) = B/X(1) = n + 1] + q P n [X(T ) = B/X(1) = n − 1]= p b n+1 + q n−1 1 ≤ n ≤ B − 1carP n [X(T ) = B/X(1) = n ± 1] = P[X(T ) = B/X(0) = n, X(1) = n ± 1] =P[X(T ) = B/X(1) = n ± 1] = P[X(T ) = B/X(0) = n ± 1] = b n±1en utilisant la proprieté de Markov et l’homogeneité.19

3. Quand p = q = 1/2, b x = P x [X(T ) = B] satisfait :b n = b n+12 + b n−12b B = 1b 0 = 0for any 1 ≤ n ≤ B − 1La méthode de résolution des équations de récurrence homogènes à coefficients constantscommence en cherchant des solutions de la forme b n = r n . Si les racines de l’équationauxiliaire sont distinctes, la solution générale est :b n = k 1 r n 1 + k 2 r n 2où k 1 , k 2 sont déterminés en utilisant les conditions frontière.Ici, cherchant des solutions puissances r x ramène à l’équation r 2 − 2r + 1 = 0 à deuxracines identiques r 1,2 = 1. La solution générale est b x = A + Bx. Les conditionsfrontière donnent b x = x B .Solution finale si p ≠ q : b n = 1−(q/p)n .1−(q/p) B4. a i +b i = 1, et donc la marche sera eventuellement absorbé dans une des deux frontiéres(elle ne peut pas rester à l’intérieur indéfinimment).Pour p = q, lim B→∞ a n = lim B→∞B−nB= 1. Autrement,lim a (q/p) n − (q/p) Bn = lim=B→∞ B→∞ 1 − (q/p) B{(q/p) n ,1, q > p.q < p5. f x = E x [X(T )] (valeur finale ésperée) satisfait Gf(x) = 0, f(0) = 0, f(B) = B. Pourp = q, la solution f x = x est obtenue comme ci-dessus :f x = f x+12f B = Bf 0 = 0+ f x−12for any 1 ≤ x ≤ B − 1(C’est aussi une fonction ”harmonique”, mais avec conditions frontière différentes.)6. t x = E x [T ] (temps de sortie ésperé) est un coût total accumulé esperé (obtenu enprenant h(x) = 1), qui satisfait le système inhomogène Gt(x) + 1 = 0, t(0) = 0, t(B) =0.Pour p = qt x = t x+12 + t x−12t B = 0t 0 = 0+ 1 for any 1 ≤ x ≤ B − 1La solution d’une équation nonhomogène est donnée par20t x = t p (x) + h(x)

où t p (x) est une solution particulière et h(x) est la solution générale de l’équationhomogène. Commençons par l’équation homogène.La solution générale homogène (”fonction harmonique”) h(x) = A + Bx pour cetopérateur a été déjà obtenue ci-dessus.Nous aimerions maintenant trouver une solution particulière t p (x) de l’équation Gt p (x) =−1 de la même forme que la partie nonhomogène −1 de l’équation, donc t p (x) = C;mais, comme les constantes, et puis aussi les fonctions linéaires vérifient l’équationhomogène Gt p (x) = 0, nous devrons modifier deux fois cette forme en multipliant parx, en arrivant donc à t ( x) = Cx 2 . Comme Gx 2 = 2x(p − q) + 1 = 1, on trouve C = −1et finalement la solution particulière t p (x) = −x 2 .La solution générale est donc t(x) = −x 2 + A + Bx et les conditions frontière ramènentà t x = x(B − x).Pour p ≠ qt x = pt x+1 + qt x−1 + 1 for any 1 ≤ x ≤ B − 1t B = 0t 0 = 0La solution generale homogène avec p ≠ q est h(x) = k 1 (q/p) n + k 2 et le termenonhomogène 1 sugere une solution particulière constante k, mais comme ça satisfaitl’équation homogène, on modifie à kn. Finalement, k = 1 . q−pLa solution particulière est t p (x) =x ; elle satisfait deja t q−p p(0) = 0. La partie homogèneh(x) = t x − t p (x) devra aussi satisfaire h(0) = 0 et donc elle sera de la forme h(x) =A˜h(x) où ˜h(x) = ((q/p) x − 1).En demandant que t n =n + q−p A(q/p)n − 1) satisfait la condition frontière t B = 0 ontrouve :t n = t p (n) − t p (B) ˜h(n)˜h(B) = nq − p − B (q/p) n − 1q − p (q/p) B − 1 .{∞si p > qLa limite quand B → ∞ est t n =; on peut aussi obtenir cet p (n) =n si p < qq−presultat en utilisant l’approximation détérmiste X n − X 0 ∼ nE(Z 1 ), appellée aussilimite fluide.7. c x = E x [ ∑ T −10X(t)] (coût total d’inventaire ésperé) satisfait le système inhomogèneGc(x) + x = 0, c(0) = 0, c(B) = 0.Pour p = q :c x = c x+12 + c x−1+ x for any 1 ≤ x ≤ B − 12c B = 0c 0 = 0Une solution particulière est c p (x) = −x3 . Finalement, on arrive à c(x) = x(B2 −x 2 ).3 3Pour p ≠ q, une solution particulière est c p (x) =x2 (elle satisfait deja c 2(q−p) p(0) = 0).La partie homogène satisfaisant h(0) = 0 sera toujours h(x) = A˜h(x) où ˜h(x) =((q/p) x − 1).21

En demandant que c n = c p (n) + A(q/p) n − 1) satisfait la condition frontière c B = 0 ontrouve :c n = c p (n) − c p (B) ˜h(n)˜h(B)La limite quand B → ∞ est c n ={∞ si p > qc p (n) si p < q.8. On arrive a w(x) = A 1 z1 x + A 2 z2 x , où z i sont les racines de pz 2 − a −1 z + q = 0, et A isatisfont A 1 z1 B + A 2 z2 B = 1, A 1 + A 2 = 1 et w(x) = zx 1 −zx 2 +zx 1 zx 2 (zB−x 1 −z B−x2 )z1 Z−zB 29. On a u x = g(x), pour x ∈ {0, B}, et le conditionnement donne la relation : u x =E x [a T g(X τ )] = a(pu x+1 + qu x−1 ).v x = g(x), pour x ∈ {0, B}, et le conditionnement donne la relation : v x = a(pv x+1 +qv x−1 ) + h(x).Conclusion : Nous avons vue dans ces exercices une des idées les plus importantes dela modélisation Markovienne : les ésperances, vues comme fonctions de l’état initial,satisfont certaines équations qui font toujours intervenir un opérateur associéfixe, appelé générateur du processus, même que les conditions frontière, termesnon-homogènes, et d’autre ”details” (comme la presence/absence d’une multiplede l’operateur identité) peuvent varier.Les equations s’obtient facilement par la methode de conditionnement sur le premierpas, en utilisant la propriété de l’oubli du passé des processus de Markov ; mais, il y a desparties specifiques a chaque probléme, qui ne sont pas oubliées !Il s’avère que les mêmes èquations décrivent la solution des problèmes analogues pourtoutes les chaîne de Markov à espace d’états comptable, et avec des états absorbants – voirla prochaîne section.Par exemple, pour les chaînes de Markov, l’operateur associé est G = P − I, où P est lamatrice de transition, et pour le cas particulier d’une marche aléatoire X t = ∑ ti=1 Z i avecp k = P [Z i = k], k ∈ [−c, d] on a encore G = P − I, où P = ∑ k p kF k et F est l’operateur detranslation (F f) k = f k+1 , k ∈ Z.Alors, nous obtendrons des èquations similaires pour les problèmes respectives, juste enremplaçant l’ancien operateur par le nouveau.On rencontre la même situation pour toute la classe des processus ”de Markov”, X t ,différents qu’elles soient, vivant sur des espaces S considerablement plus compliqués, la seuledifference étant que l’operateur G X : F (S)− > F (S) associé a ces processus sera pluscompliqué !Par exemple, les problèmes de cette section ont aussi des versions à espace d’états continu,obtenu en considérant des marches avec incréments infinitésimaux ϵ, et en prenant la limiteE → 0. La marche aléatoire devient ainsi un processus avec chemins continus, appelé mouvementBrownien. Les équations resterons les mêmes, seul l’operateur G changera (dans unoperateur differentiel).En conclusions, il existe une correspondance un á un entre les processus de Markov et unecertaine classe des operateurs deterministes associés ; nous l’appellerons ”Le Dictionnaire”.22

2.6.5 Probabilités du bonheur/fonctions harmoniquesNous considerons ici plus en detail les probabilités du bonheur, et devoilons leur nomscientifique.Une fonction sur Z d /R d est appellée harmonique si la valeur en chaque point x est egaleà la moyenne arithméthique des valeurs des ”voisins”. En R d , par voisins on entend unesphère arbitraire avec centre x. Ces fonctions aparaissent beaucoup en physique.En probabilités, les moyennes arithméthiques deviennent des moyennes ponderés.Définition 2.6.2 Une fonction/vecteur f : E− > R s’apelle harmonique pour une chaînede Markov à matrice de transition P s’il s’agit d’un vecteur propre à droite de P , i.ef(x) = ∑ P (x, y)f(y),∀x ∈ EAutrement dit, chaque point x verifie les valeurs f(y) de ses ”voisins” (definis parP (x, y) > 0, et choisi pour valeur une moyenne ponderée de valeurs voisines.Rq : Le fait que chaque valeur est une moyenne ponderée des valeurs voisines suggèreun algorithm de calcul interessant.Il est facile de montrer que :Lemme 2.6.1 a) Pour une chaîne avec une seule classe de communication (recurrente), lesseuls fonctions harmoniques sont les constantes f(x) = a.b) Pour une chaîne avec K classes de communication recurrentes C 1 , ...C K , et sans étatstransients (donc forcement reductible si K > 1), les fonctions harmoniques sont les fonctionsescalier ∑ Kk=1 a k1 Ck (x).Ind : a) Une fonction non constante prend des valeurs dans un interval [m, M], oùM > m. Mais, l’equation d’equilibre pour un point x M tq f(X M ) = M implique que ...m = M !La situation devient beaucoup plus interessante dans la presence des états transients(”subordonnés”) et de plusieures classes de communication (”leaders”).Exercice 2.6.5 Etant donnée une chaîne finie avec deux états absorbants 0, B et le reste desétats transients, obtenez un système et une formule explicite pour le vecteur des probabilitésdu bonheur b = (b i = P i [X T = B], i ∈ T ).Sol : Soit⎛1 0⎞0P = ⎝q 0 Q q B⎠0 0 1où q 0 , q B sont les vecteur des probabilités d’absorbtion directe en 0 et B (i.e. après un pas).Soit n le nb des états transitoires (la taille de Q). On trouve que b = (b i ) i∈T satisfait⎛ ⎞b = ˜P0⎝b⎠1où ˜P est la matrice P avec les lignes des états absorbants effacés. En developpant, on trouve :Rémarques :b = Qb + q B ⇐⇒ b = (I − Q) −1 q B . (2.10)23

⎛ ⎞1. Le vecteur etendu ˜b0= ⎝b⎠ est une fonction harmonique/vecteur propre à droite de1P. Comme le système etendu P ˜b = ˜b contient deux équations triviales, notre intérêtest surtout en le vecteur correspondant aux états transitoires b, donné explicitementen (2.10).2. Rémarquez l’apparition en (2.10) de la matrice fondamentale←− G := (I − Q) −1 .3. Une généralisation des probabilités du bonheur sont les ”prix finaux esperés” :f g (x) := Eg(X T ),f g : V − > Roù g y , y ∈ ∂ est un ”prix” ou condition frontière donné. On vérifie par CPP (conditionnementsur le premier pas) qu’elles satisfont :f(x) = g(x), x ∈ ∂, (Gf) x = 0 ⇐⇒ f x = (P f) x , x ∈ T := V − ∂et sont donc aussi des fonctions harmoniques. Ces fonctions harmoniques ”à conditionsfrontière données” sont en corréspondance biunivoques avec les conditions defrontière g : ∂− > R possibles. Cela rend les fonctions harmoniques sur Z d ou R dbeaucoup plus simple quand d = 1 et la frontière contient que deux points ! Pour lamarche symmetrique par exemple, il s’agit des fonctions lineaires ! Par exemple, avecp = q = 1/2, g(0) = 3 et g(10) = 53, le pris final esperé est f(x) = 5x + 3.2.6.6 Marches aléatoires sur les graphes : distributions stationnairesL’étude des chaînes de Markov sur un espace d’états fini nous rammène toujoursà un système linéaire impliquant la matrice P. Il se trouve quand même que des formules/approchesalgorithmyques plus simples sont disponible pour certains cas particuliers,comme celui des marches aléatoires sur les graphes non dirigés.Définition 2.6.3 a) La matrices d’adjacence d’un graphe est la matrice définie par{ 1 si ⇐⇒ jD(x, y) =0 sinonb) La marche aléatoire simple sur un graphe est la marche avec probabilités de transitionP (x, y) = D(x,y)d xoù d x = ∑ yD(x, y) est le degré du sommet x.L’inspiration de la generalisation qui suit nous vient d’electricité, du problème de calculerles voltages sur un réseau des resisteurs.Considerons un réseau des resisteurs R(x, y), modélisé par un quatruple G = (V, E, C(., .), ∂)representant un graph avec sommets V , arrêtes E,, des poids C(x, y) = 1 , (les ”conductanceselectrique”) associés aux arrêtes, et un sous-ensemble des sommets distingués ∂, oùR(x,y)des voltages ou des courants electriques sont imposés. Les lois bienconnues des courantselectriques de Kirkhoff sont l’expression macroscopique de la marche aléatoire sur le réseaud’un electron, avec des poids C(x, y) associé à chaque arrête.24

Définition 2.6.4 a) Une marche est appellée reversible si il existe un vecteur des poidsc(x) tq la matriceC(x, y) := c(x)P (x, y)est symmetrique, i.e. tqc(x)P (x, y) = c(y)P (y, x), ∀x ≠ y.Ces équation sont appelées équations d’equilibre local.b) Inversement, a chaque matrice C(x, y) symmetrique avec des elements nonegatifs, onpeut associer une marche aléatoire reversible avec probabilités de transition P (x, y) = C(x,y)c x,où (forcemment) c x = ∑ yC(x, y).Rq : Les marches reversibles seront appellées aussi ”marches de réseau” ou ”marchessur un graphe ponderé”, car les elements de la matrice symmetrique C(x, y) peuvent-êtretojours vues comme des conductances d’un réseau electrique, ou comme des poids associésaux arrêtes d’un graphe.Lemme 2.6.2 La distribution stationnaire d’une marche aléatoire reversible (en particuliersimple) est proportionelle au poids (degrés) c x des sommets, i.e.π(x) =c x∑y c .yDem : On verifie facilement que le vecteur des probabilites π(x) =équations d’équilibre local∑y cx satisfait lescyπ(x)P (x, y) = π(y)P (y, x), ∀x ≠ y (2.11)qui a leur tour impliquent les équations d’equilibre global par Lemme 2.6.3.Comme π(x) est un vecteur des probabilités, il suit qu’il est la distribution invariante.eqglLemme 2.6.3 Une solution des équations d’équilibre local 2.11 satisfait toujours les équationsd’equilibre global πP = π.Dem : Rémarquez que les équations d’équilibre local ne tiennent pas compte desboucles ! Ca suggère de commencer en donnant aussi des équations d’equilibre globalsans boucles. En effet,π x = ∑ yπ(y)P (y, x) ⇐⇒ π x (1 − P (x, x)) = ∑ y≠xπ(y)P (y, x)⇐⇒ π x ( ∑ y≠xP (x, y)) = ∑ y≠xπ(y)P (y, x) (2.12)Il reste juste à observer que en ajoutant les équations d’équilibre local on obtient ladernière forme ”sans boucles” des équations d’equilibre global.Remarque 2.6.1 Les équations π(x)P (x, y) = π(y)P (y, x) sont plus simples à resoudre queles équations d’équilibre global, mais comme typiquement il y a plus d’arrêtes (pairs) que desnoeuds, elles admettent de solutions seulement dans de cas particuliers.25

Exercice 2.6.6 Calculer la distribution invariante de la marche aléatoire simple, symmetriquesur les entiers {0, 1, ..., B}, ”réfléchie” en 0, B.Exercice 2.6.7 Est-ce que la marche simple asymmetrique sur {0, 1, ..., n} ”cyclique” (i.e.avec n + 1 := n, −1 := 0), avec P i [X(1) = i + 1] = p, P i [X(1) = i − 1] = q, est reversible ?Calculer sa distribution invariante, ainsi que la matrice des conductances C(x, y).Remarque 2.6.2 La reversibilité permet d’associer avec la marche un graphe non-dirigéavec des poids C(x, y), qui s’avère utile pour le calcul des fonctions harmoniques.2.6.7 Les espérances des temps d’atteinte, et les problèmes de DirichletnonhomogènesExercice 2.6.8 Montrez que si N est une v.a. sur {0, 1, ..., }, alorsEN =∞∑P [N ≥ k] (2.13)k=1Verifiez cette formule pour la variable géométrique.Nous avons deja vu que le ”pb du bonheur” (ou de Dirichlet) abouti à un systèmelinéaire. C’est le cas de tous les pb associés aux processus de Markov, comme par exemplele pb du temps d’atteinte/absorbtion esperé : étant donnée une chaîne finie avec des étatsabsorbants, calculer le vecteur t = (t i = E i [T ], i ∈ T ), où T est le temps (nb. des pas) esperéjusqu’à l’absorbtion.t:Dir1Théorème 2.6.2 a) Le vecteur t des espérances des temps d’absorbtion à partir des étatstransitoires satisfait le système d’absorbtionoù ˜G := Q − I est l’operateur restreint aux états transitoires.b) Elles sont données explicitement par :t = Qt + 1 ⇐⇒ ˜Gt + 1 = 0 (2.14)t i = 0, ∀i ∈ ∂t = (I − Q) −1 1 =∞∑Q k 1.kc) Avec une distribution initiale β, l’espérance ¯t = E β N du temps d’absorbtion est :¯t = ET = β(I − Q) −1 1Remarque 2.6.3 Rémarquez de nouveau l’apparition de la matrice fondamentale←− G := (I − Q) −1 .Remarque 2.6.4 (2.14) est notre premier exemple de ”système de Dirichlet nonhomogène”faisant intervenir l’operateur ˜G. Formulé comme ci-dessus, par rapport à ˜G, il estvalable aussi en temps continu (et en fait pour tous les processus de Markov). En remplaceant1 par des fonctions arbitraires, on arrive aux pb. de Dirichlet nonhomogènes.26

Demonstration : a) est équivalent au systèmet i = ∑ j∈EP i,j (t j + 1) = ∑ j∈TQ i,j (t j + 1) + ∑ j /∈T(T ,∂)P i,j ∗ 1,obtenu par un conditionnement sur le premier pas.b) La solution du système donné en a) est : t = 1 + Qt ⇐⇒ t = (I − Q) −1 1.Remarque 2.6.5 La matrice ˜G a seulement des valeurs propres avec partie réelle negative,étant par conséquent inversible.Remarque 2.6.6 La formule explicitet = (I − Q) −1 1 = [ ∑∞ (Q) i] 1a une interprétation probabiliste importante, analogue à (2.13). Remarquons d’abord ladécomposition en indicateurs∞∑∞∑T = I k ⇒ t i = E i I kk=0où I k est l’indicateur d’être dans la partie transitoire au temps k.Remarquons aussi la décomposition en indicateurs I k = ∑ j∈T I k,j, où I k,j est l’indicateurd’être en position j ∈ T au temps k. Ces décompositions nous ramènent finalement àt i =∞∑E i I k =k=0∞∑ ∑E i I k,j =k=0 j∈Ti=0k=0∞∑ ∑(Q) k i,j = ∑j∈Tj∈Tk=0(I − Q) −1i,j = ←− G i,jLes elements ←− G i,j de la matrice fondamentale, appellées aussi fonction de Green (oupotentiel), fournissent le ”bilan de la vie”, i.e. les esperances de l’ensemble des tempspassés dans tous les endroits possibles j, pendant la ”vie transitoire”.Remarque 2.6.7 Comme toujours, le système et la méthode donné au point a) sont plusimportants que la formule explicite donnée en b) ; en effet, l’inversion des matrices n’est pasla meilleure solution pour résoudre un système (la reduction à la forme échelon par exempleest preferable). Aussi, il existe beaucoup de variations de ce problème, ramènant a une grandediversité des formules explicites, pendant que le principe pour obtenir les systèmes et toujoursle même : conditionnement sur le premier pas. Ce problème fournit donc une illustrationdu fait que conceptuellement et numériquement, les systèmes d’équations sont plus utiles queleurs solutions explicites !2.6.8 Temps esperés de retourSoitT (x) := inf{t > S (x) , X t = x}où S (x) := inf{t > 0, X t ≠ x} le temps de la premi´‘ere visite en x, ”après avoir été ailleurs”.SoitP =( Q qxs x p x)où q x , s x , p x sont respectivement les vecteurs des probabilités de passage direct en x, desortir de x, et d’une boucle en x.27

Exercice 2.6.9 Montrez que le vecteur de probabilités invariantes est proportionel au vecteur(s x (I − q) −1 , 1 et que˜t x := E x T (x) = 1 + s x (I − q) −1 1 = 1π(x)Exercice 2.6.10 Pour une marche aléatoire X t , t = 0, 1, 2, ... sur le graphe cubiqueci-dessous, calculer :BUAOFigure 2.2 – Marche aléatoire simple1. La probabilité p A = P A {T (U) < T (0)} = P A {X T = U}, ou T = min[T (U), T (O)].Indication : Utiliser la symmetrie.2. Comparer le résultat avec le potentiel electrique obtenu en 1 si les entiers sont connectéspar des résistances unitaires, et une tension égale à 1 est appliquée entre 0 et B.3. L’ésperance du nombre de pas T = min[T (O), T (U)].4. Les probabilités stationnaires du chaque noeud.5. L’ésperance en sortant de U du nombre de pas T O jusq’au noeud O.6. L’ésperance en sortant de O du nombre de pas ˜T O jusq’au premier retour à O.7. La probabilité p k en partant de O que la marche visite U exactement k fois (k =0, 1, 2, ...) avant le premier retour à O. Vérifier la somme ∑ ∞k=0 p k.R : X(t) représente une marche aléatoire simple sur le cube [0, 1] 3 , ⃗0 est l’origine (0, 0, 0),le coin oposé (1, 1, 1) est noté par u. On remarque que dans toutes les questions les voisinsde l’origine ont un role symetrique et cela nous permet de le noter par la même lettre a =(0, 0, 1), .... . De la même manière on appelle les voisins de u par b = (0, 1, 1), ....1. P a [X(T ) = u], s’obtient de la solution du système{pa = 2 3 p b + 1 3 p 0 = 2 3 p bp b = 2 3 p a + 1 3 p u = 2 3 p a + 1 3qui donne p b = 3 5 , p a = 2 5 .2. Même système !3. t a , t b sont la solution du système{ta = 2 3 (1 + t b) + 1 3 (1 + t 0) = 2 3 t b + 1t b = 2 3 (1 + t a) + 1 3 (1 + t u) = 2 3 t a + 1qui donne t b = t a = 3. Remarquez la similarité entre les deux systèmes.28

4. π = (1/8, 1/8, ..., 1/8).5. Pour trouver t u = E u [T 0 ], on résout le système :t u = 1 + t bt b = 1 + 2 3 t a + 1 3 t udont la solution est t a = 7, t b = 9, t u = 10.t a = 1 + 2 3 t b6. E 0 [ ¯T 0 ] où ¯T 0 représente le temps esperé jusqu’à la prochaîne visite de 0 en commencantde 0, est donné par 1 + t a = 1 + 7 = 8. A remarquer que c’est exactement l’inversede la probabilité ”de long parcour” d’être à 0,ce qui est un résultat bien connu sur lestemps de retour espérés.7. Soit p k la probabilité d’avoir exactement k visites à U = (1, 1, 1) avant de retourner à0. Alors p 0 c’est le même que la probabilité commencant en A que la marche revient à0 avant de visiter (1, 1, 1), qui est 3.5Pour k = 1 visites, ”le chemin” observé seulement en O, l’état aprés B et U” estA,U,B,0. Donc, p 1 = P A [U, B, 0] = ( 2 5 )2 , p 2 = P A [U, B, U, B, 0] = ( 2 5 )2 ( 3 ), et en général5p k = 3p 5 k−1 = ( 2 5 )2 ( 3 5 )k−1 , k ≥ 2. La distribution pour k ≥ 1 est geometrique (verifiezque ∑ ∞k=1 p k = 2 , comme il faut).5Exercice 2.6.11 Un spéolog est perdu dans une grotte, les chemins de la quelle forment legraphe papillon ci-dessous. Il se trouve à present dans le point A, et à cause de la manquede visibilité, est obligé a faire une marche aléatoire entre les sommets du papillon.OUBAFigure 2.3 – Marche aléatoire simple sur le graphe papillonCA) Calculer les probabilités stationnaires de chaque noeud, et l’espérance en sortant deO du nombre de pas ÑO jusqu’au premier retour à O.B) Supposons que cette marche finira en U avec la liberté (sortie de la grotte) ou en Oavec la mort. Calculer :1. la probabilité de survie du spéolog p A = P A {X N = U} = P A {N U < N 0 }, où N =min[N U , N O ].2. Les probabilités transitoires Q 2 , Q 3 , Q n .3. La fonction gńératrice (I − xQ) −1 , la matrice fondamentale et le nb. esperé des visitesen B, A et C, à partir de B.4. L’espérance n A = E A [N]. Indication : Utiliser la symmetrie.29

Solution B) : 1) En résolvant le système d’absorbtion pour p A , p B , p C , on trouve p A =3/4, p B = 1/2, p C = 1/42) Calculons la puissance n de la matrice Q correspondant auc états transitoires B(centre), A, C. Le polynôme charactéristique est −λ 3 + λ/4 = − λ 4 (4λ2 − 1), avec racinesλ 0 = 0, λ 1,2 = ±1/2). Par Cayley-Hamilton,⎛ ⎞⎛110 00Q 2 4= ⎝ 1 10 ⎠ , Q 3 16= Q/4 = ⎝ 10 08 881 110 0 08 88⎛Q k = ⎝116⎞⎛⎠ , Q 4 = Q 2 /4 = ⎝10 0161 1032 321 1032 322 ( −k−1 1 + (−1) k) −2 ( −k−2 −1 + (−1) k) −2 ( −k−2 −1 + (−1) k) ⎞−2 ( −k−1 −1 + (−1) k) 2 ( −k−2 1 + (−1) k) 2 ( −k−2 1 + (−1) k)−2 ( −k−1 −1 + (−1) k) 2 ( −k−2 1 + (−1) k) 2 ( ⎠−k−2 1 + (−1) k)⎞⎠ , ...3) La fonction génératrice est⎛(I − xQ) −1 =⎜⎝11− x24( x2 1− x24( x2 1− x24)( x4 1− x241− x281− x24) ( x 281− x24) ( x4)1− x24)( x 2 )8 1− x241− x281− x24⎞⎟⎠la matrice fondamentale est :⎛(I − Q) −1 = ⎝432323137616131676⎞⎠Les nb. esperé des visites en B, A et C, à partir de B se trouvent dans la première ligne.( 1/2 1/4) 1/4Exercice 2.6.12 Calculer Q 2 , Q 3 , Q n et (I − Q) −1 pour Q = 1/21/20000.R : Le polynôme charactéristique est −λ 3 + λ 2 /2 + λ/4 = − λ 4 (4λ2 − 2λ − 1), avec racinesλ 0 = 0, λ 1,2 = (1 ± √ 5)/4). Par Cayley-Hamilton, Q 3 = Q 2 /2 + Q/4.La solution la plus simple est par la decomposition spectrale. Une autre est de chercherdes scalaires tq Q n = a n Q 2 + b n Q. On trouve a n = a n−1 /2 + b n−1 , b n = a n−1 /4 etQ n = a n Q 2 + b n Q, n ≥ 2où a n = a n−1 /2 + a n−2 /4, a 1 = 0, a 2 = 1, a n = λn−1⎛⎛⎞A k B k /2 B k /2Q k = ⎝B k C k C k⎠ = ⎜⎝B k C k C k301 −λ n−12λ 1 −λ 2, et finalementλ k+11 −λ k+12 λ k 1 −λk 2λ 1 −λ 2 4(λ 1 −λ 2 )λ k 1 −λk 2 λ 1 λ k 2 +(−λ 2)λ k 12(λ 1 −λ 2 ) 2(λ 1 −λ 2 )λ k 1 −λk 2 λ 1 λ k 2 +(−λ 2)λ k 12(λ 1 −λ 2 ) 2(λ 1 −λ 2 )λ k 1 −λk 24(λ 1 −λ 2 )λ 1 λ k 2 +(−λ 2)λ k 12(λ 1 −λ 2 )λ 1 λ k 2 +(−λ 2)λ k 12(λ 1 −λ 2 )⎞⎟⎠

3) Les formules pour les probabilités transitoires sont assez compliquées ; plus convenablessont les formules des fonctions gńératrices (I − xQ) −1 , qui généralisent la matricefondamentale (I−Q) −1 . En généralisant encore, remplaçons la première ligne par (z, z 1 , z 2 ) :(I − xQ) −1 = I + xQ + x 2 Q 2 + ... =⎛⎜⎝⎛⎜⎝1− z 1 x2 − z 2 x2 −zx+12 2x)2(− z 1 x2 − z 2 x2 −zx+12 2xz 1− z 1 x2 − z 2 x222 −zx+1− z 2 x2 −zx+12− z 1 x2 − z 2 x2 −zx+12 2x)x2(− 2 z 1 )z 1 x2 − z 2 x2 −zx+1 2(− z 1 x2 − z 2 x2 −zx+12 2 2 2⎞1( x ) ( x )− x24 − x 2 +1 4 − x2 − x 4 2 +1 4 − x24 − x 2 +1 ( x − x2) 8 − x 2 +1( x 2 )2 − x24 − x 2 +1 − x24 − x 2 +1 8 − x24 − x 2 +1 ⎟( x ) x 2 − x2() 8 − x 2 +1 ⎠2 − x24 − x 2 +1 8 − x24 − x 2 +1 − x24 − x 2 +1xz 2− z 1 x2 − z 2 x2 −zx+12 2x 2 z 2 )2(− z 1 x2 − z 2 x2 −zx+12 2− z 1 x2 −zx+12− z 1 x2 − z 2 x2 −zx+12 2= {x=1}⎛⎝⎞⎟⎠4 1 12 3 22 1 2= {z1=z2=1/4,z=1/2}Une expansion en series de puissances en x fournit les probabilités transitoires⎛x 5+ 5x4 + 3x3 + x2 + x + 1 5x5 + 3x4 + x3 + x2 + x 5x 5+ 3x4 + x3 + x2 + ⎞x4 16 8 2 2 64 32 8 8 4 64 32 8 8 4⎝ 5x 5+ 3x4 + x3 + x2 + x 3x 5+ x4 + x3 + x2 + 1 3x 5+ x4 + x3 + x2 ⎠32 16 4 4 2 64 16 16 8 64 16 16 85x 5+ 3x4 + x3 + x2 + x 3x 5+ x4 + x3 + x2 3x 5+ x4 + x3 + x2 + 1 32 16 4 4 2 64 16 16 864 16 16 8La généralisation (sans peine) peut fournir le nb. esperé des boucles en 1, et les nb.esperés des passage 1− > 2 et 1− > 3 (en derivant par rapport à la ”variable de bilan”associée et en la faisant ensuite 1).Exercice 2.6.13 Supposons que les chemins menant à U dans la grotte du speologueprennent deux heures, ceux menant à O trois heures, et les autres 5 heures.1. Calculez l’espérance du temps T qu’il reste a passer dans la grotte.2. La grotte contient aussi un génie, qui frappe le spéolog des nb. aléatoires, ayant unedistrbution de Poisson des coups, avec esperance 3 sur les chemins menant à U, 5 pourceux menant à O, et 2 pour les autres chemins. Calculez l’espérance du nombre descoups que le spéolog prendra dans la grotte.3. (*) Calculez la variance et la distribution du nombre des coups que le spéolog prendradans la grotte.4. Etant donnée une marche ponderé sur un graphe, avec des états absorbants, et destemps derministes T i,j pour traverser l’arrête (i, j), calculer le vecteur T = (t i =E i [T ], i ∈ T ).R : 4. T = (I − Q) −1 Q × H ˜T où ˜T est la matrice des temps ˜Ti,j pour traverser de i à jet × H denote le produit composante par composante. .2.6.9 Méthode des fonctions génératricesExercice 2.6.14 Calculez, par la méthode des fonctions génératrices :a) T (z) = ∑ n≥0 T nz n , oùT 0 = 0, T n = 2T n−1 + 1, n ≥ 1311232⎞⎠

Trouvez T n .b) Calculez T (z) = ∑ n≥0 T nz n , oùTrouvez T n .T 0 = 1, T n = 2T n−1 + n − 1, n ≥ 1Sol : b) Par la méthode de decomposition des équations linéaires : T n = 2 n+1 −(n+1). Lafonction génératrice de T n est T (z) = 2/(1−2z)−1/(1−z) 2 = (2z 2 −2z +1)/(1−2z)(1−z) 2 .En appliquant directement la méthode des fonctions génératrices à T n = 2T n−1 + n − 1on trouve l’équation : T (z) = 1+2zT (z)+z/(1−z) 2 −(1/(1−z)−1) = 2zT (z)+(2z 2 −2z +1)/(1 − z) 2 , et on retrouve la même reponse. L’avantage de cette méthode plus compliquéeest qu’elle reussit parfois quand la première méthode échoue.Exercice 2.6.15 a) Obtenez une formule explicite pour la suite décrite par la relation derécurrence ci-dessous (et verifiez-la en utilisant les premiers termes de la suite)T n = 4T n−1 − 3T n−2 + n, n ≥ 1, T 0 = a, T −1 = 0 (2.15)b) Calculez la fonction génératrice T (z) = ∑ n≥0 T nz nc) (*) Obtenez la fonction génératrice T (z) directement, en appliquant la méthode desfonctions génératrices à l’équation (2.15).Sol : a)(a + 3/4) 3 n − 1 (3 + 2n)4a + 3/41 − 3z − 1/41 − z − 1/2(z − 1) 2 = a(z − 1)2 + z(z − 1) 2 (3z − 1)Exercice 2.6.16a) Obtenez une formule explicite pour la suite décrite par la relation de récurrence ci-dessous(et verifiez-la en utilisant les premiers termes de la suite)T n = 2T n−1 − T n−2 + 2, n ≥ 2, T 0 = T 1 = 0 (2.16)b) Calculez la fonction génératrice T (z) = ∑ n≥0 T nz nc) Obtenez la fonction génératrice T (z) directement, en appliquant la méthode des fonctionsgénératrices à l’équation (2.16)Exercice 2.6.17 a) Obtenez la fonction génératrice T (z) = ∑ n≥0 T nz n pour la récurrenceT n = λT n−1 + λ 2 T n−2 , n ≥ 2, T 0 = 1, T 1 = λT 0 (2.17)b) Calculez (directement, ou par developpement limité) le premiers termes, et verifiezqu’ils sont des combinaisons lineaires de puissances des racines charactèristiques.32

2.6.10 Problèmes de premier passage sur un intervalle semi-infiniSoit ψ n := lim B→∞ a n (B) la probabilité de ruine sur [0, ∞). On vérifie facilement, enpartant des recurrences sur un domaine borné [0, B], que :{ψ n = lim ψ (q/p) n , q < pn,B =B→∞ 1, q ≥ p.Cette solution peut être trouvée aussi directement, sans passer par la probabilité deruine sur [0, B], en s’appuyant sur des des arguments probabilistes. On remarque d’abordque cette fonction est multiplicative en n, i.e. ψ n = ρ n , et en suite on choisit ρ selon la limitede X n quand n → ∞.La solution la plus simple est en effet de remarquer que l’absence des sauts strictementplus grands que 1 implique une propriété de multiplicativité, ce qui impose une solutionpuissance. Mais, bien-sur, cette approche ne peut pas contribuer à l’étude des marches ”nonsimples”dans les deux directions.Examinons maintenant la méthode de fonctions génératrices (analogues à la transformée deLaplace), qui n’est pas réellement necessaire pour la marche simple, mais qui est la méthode la pluspuissante pour la resolution des èquations de differences (différentielles).On ajoute les équations ψ n = pψ n+1 + qψ n−1 multipliées respectivement par z n , n = 1, 2, .. Onobtient ainsi une èquation pour la fonction ψ ∗ (z) := ∑ ∞n=1 zn ψ n :où Φ(z) = Ez Z 1= pz −1 + qzDe lors,ψ ∗ (z) = pψ 1Φ(z) − 1ψ ∗ (z) = 11 − z − zpψ 1p + qz 2 − z = p − qz − pzψ 1 p − qz − z(p − q)= = p(1 − z)(p − qz) (1 − z)(p − qz) p − qzcar le numerator s’annule en 1 (”méthode du noyau”) et donc pψ 1 = p − q.De lors, ψ n = (q/p) n .Exercice 2.6.18 Calculer les probabilités de ruine ψ x , x ∈ N, pour une marche sur lesnombres naturelles, avec la distribution de chaque pas donné par : { p 1 = 8 , p 10 −1 = 1 , p 10 −2 = 1Montrer qu’elles sont positives.R : La moyenne est m 1 = 1/2 > 0. Les probabilités de ruine satisfont ψ x = 8 ψ 10 x+1 +1ψ 10 x−1 + 1 ψ 10 x−2, x ∈ N. Elles sont des combinaisons de puissances ρ x , avec ρ une racine de810 ρ3 − ρ 2 + 110 ρ + 1 108= (ρ − 1)(10 ρ2 − 2 10 ρ − 110 ) = 8 (ρ − 1)(ρ − 1/2)(ρ + 1/4)10ψ x = A 1 ( 1 2 )x + A 2 ( −14 )x satisfait ψ 0 = ψ −1 = 1 ssi A 1 = 5/6, A 2 = 1/6. Les probabilitésde ruine sont :ψ x = 5 ( ) x 1+ 1 (− 1 ) x≈ 5 ( x 16 2 6 4 6 2)Exercice 2.6.19 Calculer les probabilités de ruine pour une marche avec { p 2 = 3 8 , p 1 = 1 8 , p −1 = 1 210}.}33

2.6.11 Les fonctions harmoniques des marches aléatoires de réseau(*)Exercice 2.6.20 Quelle est la fonction harmonique de la marche aléatoire simple nonsymmetriquesur les entiers {0, 1, ..., B}, arrêtée en 0, B ?Rq : La simplicité du graphe ”série” de cette marche permet un calcul explicite.Q : Est-ce des formules en termes de la structure du graphe sont aussi disponibles pour lesfonctions harmoniques des marches aléatoires sur des graphes ponderés, avec des structuresplus compliqués ? Cette question a été beaucoup étudié en electricité, en començant avecKirchhoff.Pour chaque x ∈ T = V −∂, soit V (x), les potentiels induites dans les noeuds du réseau.Alors, la loi des courants de Kirchhoff affirme que∑yV (y) − V (x)R(x, y)= 0, ∀x ∈ TIl est alors facile de verifier que les potentiels sont une fonction harmonique pour lamatrice stochastique P (x, y) = C(x,y)c x. L’unicité des fonctions harmoniques ( !) nous assurequ’en fait les deux concepts coincident !La simplication principale apportée par l’approche de Kirchhoff vient du concept derésistance équivalente (l’idée étant de remplacer un réseau des resisteurs par un seul resisteur),qui est particulièrement facile a calculer pour les réseaux séries-parralèle.Exercice 2.6.21 Recalculer la fonction harmonique de la marche aléatoire simple nonsymmetriquesur les entiers {0, 1, ..., B}, arrêtée en 0, B, à partir des lois de Kirchhoff.Il est aussi possible de transformer une étoile à résistances A, B, C dans un triangle àrésistances x = A + B + AB , .... La transformation inverse est A =yz , ...C x+y+zExercice 2.6.22 Calculer la fonction harmonique de la marche aléatoire simple ”avec deuxbonheurs à la fin” {0, 1, 2, B 1 , B 2 }, et des exemples de fig II.3, II.5 de Bollobas.Finalement, une formule trés intéressante nous fournit la probabilité d’arriver dans unensemble d’états de bonheur {B}, avant de revenir dans un état de depart a :P [a− > {B}] := P a [τ {B} < τ + a ] =où R(a ↔ {B}) denote la resistance equivalente.1d a R(a ↔ {B})Exercice 2.6.23 Calculer la probabilité du ”bonheur avant retour” pour les marche aléatoiresimple des exemples 2.5,2.6, 2.7 de Lyons et Peres.Rq : Il y a plusieurs résultats plutot subtiles concernant l’ergodicité des chaînes à espaced’états dénombrable, où le concept de resistance equivalente s’est avèré utile ; par exemple,les marches simples sur Z d sont récurrents ssi d ≤ 2.En conclusion, les méthodes developpes par les physiciens pour calculer des potentielsen utilisant les transformations series/parallel et ”etoile triangle” pourront nous servir enprobabilités pour calculer les probabilités du bonheur et les fonctions harmoniques.34

2.6.12 ExercicesExercice 2.6.24 On lance une monnaie biaisée, avec la probabilité de sortir face égale à qet celle de sortir pile égale à p = 1 − q, jusqu’à ce qu’on obtient une pile. Soit N le nombrede faces précedant la première pile (N = 0, 1, 2, ...). Par exemple, si X 1 = F, ...X j−1 = F etX j = P, j ≥ 1, la valeur de N est j − 1.1. Calculez p k = P [N] = k, k = 0, .... Quelle est la loi (distribution) de N ?2. Trouvez le moment m 1 = EN par la méthode du conditionnement sur le premier pas,en utilisant la relation L(N|X 1 = F ) = L(1 + N) (qui est une conséquence de ladécomposition ”premier pas + le reste”N = 1 + N ′et du fait que les distributions conditionnées par le premier pas du ”reste” N ′ sontconnues : a) (N ′ |X 1 = P ) ≡ 0 et b) L(N ′ |X 1 = F ) = L(N) par le fait que la seuledifference entre les réalisations possibles de N ′ et ceux de N est le moment ”de départde la montre”, qui n’affecte pas la distribution d’une chaîne homogène).3. Trouvez l’espérance m = EN (2) du nombre des essais jusqu’à ce qu’on obtient deuxpiles consécutives. Ind : Sauf m, il faudra trouver en même temps m 1 = E 1 N (2) dunombre des essais jusqu’à ce qu’on obtient deux piles consécutives, à partir du momentqu’on a obtenu la première.4. Généraliser pour k = 3 piles consécutives, et pour k arbitraire.5. ”Mieux que les moments :” Trouvez la fonction génératrice des probabilités φ ∗ N (z) =Ez N = ∑ ∞k=0 p kz k , et deduisez l’espérance EN (en calculant φ ′ (1)), et aussi m 2 = EN 2 .6. Soit k = 2. Abordez les mêmes questions pour φ ∗ (z), ainsi que pour φ ∗ N (k) N (k)′(z), oùla dernière variable représente le nombre des essais jusqu’à ce qu’on obtient k pilesconsécutives, en incluant la suite finale des piles.Trouver les probabilités P [N (2) = k] pour q = 1/3.7. Reabordez la question precedente pour k = 3.Solutions :1. L’espace des experiments est : E = {P, F P, F F P, F F F P, ...} = {P } ∪ F E.p k = pq k , k = 0, 1, .... On a à faire avec une distribution bien connue (la géométrique ! !).2. Il est quand même intéressant de remarquer que l’espérance peut aussi se calculer parun conditionnement sur le premier pas :m 1 = p × 0 + q(1 + m 1 ) ⇐⇒ m 1 = q pNote : Pour l’autre définition d’une variable g’eométrique N (1)′ := N + 1 ∈ {1, 2, ...}(en incluant la première face), on obtient par le résultat précedentn := EN (1)+1 = E(N + 1) = 1 p ,ou encore par conditionnement sur le premier pas :n = E[N (1)+1 ] = P[X 1 = P ]E[N (1)+1 |{X 1 = P }] + P[X 1 = F ]E[N (1)+1 |{X 1 = F }]= P[X 1 = P ]1 + P[X 1 = F ](1 + E[N (1)+1 ]) = p ∗ 1 + q ∗ (1 + n) = 1 + q ∗ n35

3. Remarquons que les trois evenements P P, P P, (∗)P fournissent une decomposition del’espace d’états . Par conséquant :n = q(n + 1) + pq(n + 2) + 0p 2 ⇐⇒ n =q(1 + 2p)1 − q − pq = 1 + p − 2p 24. Remarquons que les quatre evenements P P P, P P P, (∗)P P, (∗∗)P fournissent une decompositionde l’espace d’états qui permet soit de constater que notre evenementd’arrêt est arrivé, soit de relancer le processus du debut. Le conditionnement ces evenementsdonne : n = q(n+1)+pq(n+2)+p 2 q(n+3)+0p 2 ⇐⇒ n = q(1+2p+3p2 )p 3(et pour inclure les derniéres trois piles, on ajoute 3).= 1+p+p2p 35. La méthode des fonctions génératrices.Formellement, le calcul de Ez N a remplaçè chaque terme de l’espace des experimentspar p nP q nF z nF (nP = 1). Soit p(z) le résulat obtenu en ajoutant tous les termes.Observons qu’en rajoutant tous les termes, on obtient precisement φ(z) = ∑ ∞n=0 p nz n =p1−qz .Nous pourrions aussi remarquer la décomposition φ(z) = p + qzp(z), qui impliqueencore φ(z) =p1−qz .Finalement, EN = φ ′ (1) = q p .Rem : La méthode des fonctions génératrices (qui n’est pas vraiment necessairedans cet exercice simple) s’avère une des méthodes les plus puissantes pour les espacesd’états infinis.6. Les probabilités p k sont moins evidentes à obtenir. Ind : Utilisons une chaîne de Markovassocié, sur l’espace E = {0P, 1P, 2P }, avec état absorbant 2P .p 0 = p 2 , p 1 = qp 2 , p 2 = q 2 p 2 , p 3 = qp 2 + pqp 1 , ...p n = qp n−1 + pqp n−2 , ∀n ≥ 3. On trouveainsi une récurrence à coefficients constants, qui donne p n = C + λ n + + C − λ n −, λ ± =q± √ q(4−3q). Le systême C2 + + C − = p 2 , C + /λ + + C − /λ − = 0 donne C + = p2 (q−λ − )λ + −λ −, C + =p 2 (λ + −q)λ + −λ −.On peut trouver la même reponse à partir de la mgfp 21 − qz − pqz = C + C −+ .2 1 − z/λ + 1 − z/λ −7. Ind : Utilisons une chaîne de Markov associé, sur l’espace E = {0P, 1P, 2P, 3P }, avecétat absorbant 3P . Soit Q la matrice des transitions entre les états transitoires 0, 1, 2.Le vecteur φ des fonctions génératrices des moments satisfait φ(z) = z(Qφ(z) + t).Rem : On peut aussi trouver une formule generale pour m = φ ′ (1). En differentiantle système, on trouve φ ′ (z) − zQφ ′ (z) = Qφ(z) + t ⇒ (I − Q)φ ′ (1) = Q1 + t = 1.Exercice 2.6.25 Un spéolog est obligé a faire une marche aléatoire entre les sommetsd’un triangle {1, 2, 3}, avec toutes les chemins ayant des chances égales d’être prises. Il y adeux chemins entre 1, 2, deux chemins entre 1, 3, et 1 chemin entre 2, 3. Il y a aussi deuxchemins boucles (partant et finissant) en 2, deux chemins boucles en 3, et six chemins bouclesen 1 Ċalculer−336

1. La matrice de transition P de la marche et ses valeurs propres2. les probabilités stationnaires de chaque noeud3. La matrice symmétrique π(i)P (i, j).4. La matrice de transition P n5. La fonction gńératrice (I − xP ) −1 et6. l’espérance en sortant de 3 du nombre de pas Ñ3 jusqu’au premier retour à 3.R : 1)Le polynôme charactéristique est⎛⎝352525152515151525⎞⎠−x 3 + 7x25 − 11x25 + 1 25 = −x − 125 (5x − 1)2 ,avec valeurs propres 1, −1/5, −1/5.4) La solution la plus simple est par la decomposition spectrale. Une autre est de chercherdes scalairesP n = a n P 2 + b n P + c n Ioù a n = ..., b n = .., c n = ..., et l’initialisation vient de Cayley-Hamilton P 3 = 7P 2 − 11P+ 15 25Finalement,⎛⎞⎜⎝1+ 5−k2 21− 5−k2 21− 5−k2 21− 5−k4 41+ 35−k4 41− 5−k4 41− 5−k4 41− 5−k4 41+ 35−k4 42.7 Ou on voit que les probabilités de premier passageinterviennent dans le comportement limitedes chaînesNous considerons ici le calcul des distributions ”à la longue” (ou simplement limites)d’une chaîne spécifiée par c(0) et P :⎟⎠25 I.π ∞ = limn→∞µ (n) = limn→∞µ(0)P n (2.18)pour n’importe quelle distribution initiale µ(0).L’existence des distributions limite (2.18) est evidemment équivalente à l’existence de lalimiteRq : L’element generique de cette matriceP = lim n→∞ P n . (2.19)P i,j = lim n→∞ P i [X n = j]37

epresente la limite des probabilites de trouver le processus en j après n pas, à partir de i.Cf. le théorème ergodique, la limite existe (2.19) ssi il n’y a pas des classes recurrentesperiodiques, et, avec une seule classe de communication, elle est une matrice derang 1 de la formeP = 1π,où π est la ”distribution invariante”.Q : Pourquoi 1 et π aparaissent dans la limite, et pourquoi le rang de la limite est 1dans le cas d’une seule classe de communication ?R : Les reponses deviennent evidentes par une ápproche algébrique, à partir de la decompositionspectrale. Aparemment, l’”ergodicité” est equivalente algebriquement aux faitsque :1. Une matrice stochastique P n’a pas des valeurs propres supérièures ou égales en valeurabsolue à la valeur propre λ = 1, sauf λ = 1, et que les vecteurs propres correspondantà ces valeurs disparaissent dans la limite.2. La multiplicité de la valeur propre 1 est égale à 1, et ses vecteurs propres á droite et àgauche sont 1, πDans ce chapitre, nous allons approfondir le comportement limite des chaînes de Markov,à partir de la decomposition spectrale de la matrice de transition P . Avant le cas général,nous analyserons en detail deux cas particuliers :1. les chaînes (faiblement) ergodiques, donc avec I = 1 classes récurrentes, et matrice detransition( ) Q qP =0 P ret où q contient les probabilités de trasition dans les états récurents.2. les chaînes absorbantes, i.e avec les classes récurrentes étant toutes de cardinalité 1.,i.e. avec⎛⎞Q q (1) q (2) ...0 1 0 ....P =0 0 1 ..⎜ .⎝ 0 0 .. . .. ⎟⎠.. . .. . ..2.7.1 Le cas purement absorbant : les probabilités d’absorbtionLe cas ( le plus ) simple est celui des chaînes qui n’ont que des états récurrents absorbants,Q qoù P = et où q contient comme colonnes les probabilités d’absorption immédiate0 Idans les états absorbants.Comme lim Q n = 0, P doit être de la formeP =38( ) 0 X0 I

En utilisant P P = P , on trouve la solution expliciteX = (I − Q) −1 q = P (abs) ⇐⇒ x (i) = Qx (i) + x (i) ,oú x (i) sont les colonnes de la matrice X.On reconnait que x (i) sont précisément les probabilités d’absorption dans la classe recurrentei (et parfois, le ”système d’absorption” trouvé en conditionnant sur le premier pasest la méthode la plus convenable de les obtenir.).Lemme 2.7.1 Pour une chaîne absorbante, la matrice des probabilités limite P i,j = P (abs)i,j , ∀itransitoire, ∀j absorbant a comme elements les probabilités d’absorption p i (j) = P i {X T =j}.Rq : Le resultat est en fait evident, en tenant compte de l’interpretation des probabilitéslimite P (i, j).En conclusion, on trouve que la matrice limite est( )0 P(abs)P =0 IExercice 2.7.1 Calculez la matrice X dans le cas d’un seul element absorbant.Exercice 2.7.2 Que devient la décomposition spectrale (2.23) et les vecteurs propres à droiteet gauche de la valeur 1 dans le cas absorbant ?Solution : Cherchons à trouver un vecteur propre à droite v j et un vecteur propre àgauche π j pour chaque élément absorbant j.On trouve π j = e j = (0, 0, ..., 1, ..., 0). Décomposant v j = (a j , 0, 0, ..., 1, ..., 0) on trouveque a j contiens les probabilités d’absorbtion dans la classe j.2.7.2 La distribution limite dans le cas faiblement ergodiqueExercice 2.7.3 Calculez par l’approche algébrique (donc en résolvant les équations P v =v, πP = π, πv = 1) la matrice limite P si⎛⎞0 a 1 0 a 00 0 b 1 0 bP = ⎜c ⎝ 1 0 0 0 c ⎟0 0 0 2/3 1/3⎠0 0 0 1/4 3/4ergThéorème 2.7.1 Soit X n une chaîne de Markov finie avec une seule classe récurrente, quiest apériodique.a) Cela est algébriquement équivalent à une multiplicité un pour la valeur propre λ = 1,et à l’absence des autres valeurs propres de valeur absolue |λ| = 1.b) La distribution limite est unique et la limite P est une matrice de rang 1 :P = limn→∞P n = 1 × (0 |π ∞ ) (2.20)où π ∞ est la distribution stationnaire de la classe récurrente.39

Rq : Ce resultat est aussi evident, en tenant compte de l’interpretation des probabilitéslimite P (i, j), sauf que le resultat est cette fois determinée par ”la vie eternelle” d’aprèsabsorbtion.Dem : La démonstration du théorème ( 2.7.1 ) b) par l’approche algébrique est immédiate.Q qEn effet, prenons v = 1. Soit P = et cherchons a trouver un vecteur propre à0 P 1gauche de la forme p = (p t , p 1 ), donc satisfaisantp t Q = p t , p t q + p 1 P 1 = p 1 ⇐⇒p t = (I − Q) −1 0 = 0, p 1 = πEn conclusion, la structure de la matrice limite P pour les chaînes faiblement ergodiquesest assez simple, pareille à celle du théorème fondamental ergodique ; il suffit de trouver ladistribution stationnaire π ∞ de la seule classe récurrente, et a ”l’étendre” par des zeros surles classes transitoires. En suite on utilise la formuleP = 1 poù p est le vecteur π ∞ completé avec des zeros. Rémarquons encore que 1, p sont des vecteurspropres à droite et gauche, normalisés tel que p est un vecteur des probabilités et tel que< p, 1 >= 1, et donc la décomposition ci-dessus est un cas particulier de la forme specifiéeen (2.23).2.7.3 Echauffement pour le cas generalNous allons examiner maintenant une chaîne decomposable (pour la quelle la distributionstationnaire n’est pas unique, mais peut prendre toute valeur possible dans l’ensembleconvexe engendré par les distributions stationnaires des classes recurents).neExemple 2.7.1 Exemple de non unicité de la distribution stationaire π : Dans5∑l’exemple défini par la matrice ci dessous, cherchons π ∈ (R + ) 5 tel que πP = π et π i = 1.⎛⎞10 1 0 02 2 0 1 0 1 1{2 4 4π2 = 0πP = π ⇐⇒ (π 1 π 2 π 3 π 4 π 5 )1⎜ 0 1 0 02 2 ⎟⎝ 0 0 0 1 1 ⎠ = π ⇐⇒ π 1 = π 3π 5 = 2π 42 2sum i π i = 10 0 0 1 34 4i=1On voit clairement qu’il n’y a pas unicité (par exemple ( 12 , 0, 1 2 , 0, 0) et ( 0, 0, 0, 1 3 , 2 3)sontdes distributions stationnaires).Cette chaîne étale des “pathologies”, qu’on peut percevoir en examinant le graphe decommunication de la chaîne :Remarque : afin d’apercevoir la structure de la chaîne et de calculer plus facilementP n , il peut être intéressant de renuméroter les états en sorte que des états qui conduisentl’un à l’autre) soient groupés ensemble.40

Dans cet exemple, si on échange les états e 2 et e 3 , on obtient, après le rangement facilitantdes éléments dans l’ordre 1, 3, 2, 4, 5, la matrice de transition :a structure : P =⎛⎝A 0 0⎞0 B 1 B 1,2( A 00 B)⎛⎞1 10 0 02 2 1 10 0 02 2 ⎜ 0 0 1 1 12 4 4 ⎟⎝ 0 0 0 1 1 ⎠2 20 0 0 1 34 4avec A =( 12121212)et B =⎛⎝1 12 40 1 20 1 4141234⎞⎠ et encore P =⎠ où A, correspondant aux états (1, 3) (qui conduisent l’un à l’autre) etB 2 , correspondant aux états (4, 5) (qui conduisent l’un à l’autre aussi) sont des matricesstochastiques, et B 1 , correspondant aux transitions entre les états transitoires ((2) est unematrices sous-stochastique.Il y’a ici deux pathologies par rapport au cas ergodique :1. il existe un élément transitoire 2 (qu’on peut quitter sans retour pour toujours)2. le graph de communication se décompose en deux classes : (1, 3) et (2, 4, 5) qui necommuniquent pas et la matrice de transition a une structure block diagonale, appellée“réducibilité” en proba.La structure de matrice à ”blocs”, montre immédiatement qu’on peut traiter (1, 3) et(2, 4, 5) séparément. Aussi, en enlevant l’élément “ transitoire” 2, il nous restent deux ”classesde communication fermées”, (1, 3) et (4, 5), appellées ”classes de récurrence”, où on restepour toujours une fois entré. ⎛⎞A n 0 0On verifie facilement que : P n = ⎝ 0 B1 n B 1,2,(n)⎠0 0 B2nen reflexion du fait qu’on peut étudier les trois chaînes correspondant aux A, B 1 et B 2séparément.Concernant la matrice B 1 contenant les probabilités de transition entre les élémentstransitoires (appellée aussi projection de la matrice P sur la réunion des classes transitoires),remarquons d’abord que elle est une matrice sous-stochastique.Définition 2.7.1 Une matrice Q s’appelle sous-stochastique si la somme des éléments dechaque ligne est ≤ 1, avec inegalité stricte dans au moins une ligne.Théorème 2.7.2 Toutes les valeurs propres d’une matrice sous-stochastique Q ont valeursabsolues strictement inferieurs à 1. Par conséquentlimn→∞ Qn = 0i.e. la limite des probabilités de transition entre les états transitoires est 0.41

On verifie ici que P n (2, 2) = (1/2) n , en illustrant le théorème ci-dessus. En conclusion,⎛⎞1 10 0 02 2 1 10 0 0P = lim P n 2 2 =n→∞ ⎜ 0 0 0 x 1 x 2⎟⎝1 20 0 0 ⎠3 31 20 0 03 3Il reste encore à déterminer x 1 , x 2 .Exercice 2.7.4 Montrer par une approche directe par un systéme des récurrences que cesdeux quantités sont aussi x 1 = 1 3 , x 2 = 2 3 .Le calcul des elements P (i, j) où i ∈ T , j ∈ ∂ peut être abordé1. algébriquement via la décomposition spectrale, ou2. par une approche probabiliste qui décompose la vie d’une particule dans la partie”transitoire” qui précede l’absorbtion, et la partie ”éternelle” qui s’ensuit.Dans notre exemple avec une seule classe recurrente, on ”sent” que la reponse tiens dela ”vie éternelle”.Avec plusieurs destinations possibles (classes recurrentes), il va faloir tenir compte desprobabilités de toutes les fins possibles.Définition 2.7.2 Soit i un élément transitoire d’une chaîne X n , et soit j un élément apartenantà une classe de récurrence ĵ. On appelera probabilité d’absorbtion p i (ĵ) la probabilitéque la chaîne commençée en i finisse en ĵ.Le calcul des probabilités d’absorbtion sera abordé en detail plus tard.Finalement, on arrivera à la conclusion que si la limite P = lim n→∞ P nsatisfait :existe, ellelim n→∞ P n (i, j) = p i (ĵ) π(j)où on a dénoté par p i (ĵ) la probabilité d’absorption dans la classe de récurrence de j et parπ(j) la probabilité stationnaire de j dans sa classe (qui coincide avec lim n→∞ P n (i, j) pouri ∈ ĵ). Ce deuxième facteur reflète le fait évident qu’une fois absorbée dans une classe fermée,la marche oubliera sa position initiale et donc aura exactement les probabilités limites de laclasse.Dans notre exemple, le fait qu’il existe une seule classe destination possible pour l’élémenttransitoire 2, et donc que l’absorption dans cette classe est sûre, implique p 2 (ˆ4) = p 2 (ˆ5) = 1.En conclusion⎛⎞1 10 0 02 2 1 10 0 02 2 P =⎜ 0 0 0 1 23 3 ⎟⎝ 0 0 0 1 2 ⎠3 30 0 0 1 23 3Mais, si dans l’exemple 2.7.1 l’élément transitoire aurait eu des possibilités de passagevers les deux classes récurrentes existantes, ça nous aurait obligé de résoudre un problèmed’absorbtion avant de calculer la limite lim n→∞ P n .En conclusion, une procédure qui fournisse la limite P doit :42

1. établir si elle existe, ce qui n’est pas toujours le cas, comme on voit en examinant leschaînes de Markov qui bougent cycliquement sur les noeuds d’un graphe2. inclure la résolution des problèmes de Dirichlet concernant l’absorbtion de la chaînede Markov dans les classes récurentes3. calculer la distribution stationnaire des classes récurentes.2.7.4 Le comportement limite des chaînes, par la decompositionspectraleLe comportement limite de chaînes de Markov, i.e. le calcul delim µ 0P n := µ 0 Pn→∞est facile à obtenir via une approche completement algébrique, en utilisant :1. le théorème de Perrron-Frobenius. Plus precisément, on utilise les faits que(a) 1 est la valeur propre PF (réele, maximale) pour les matrices stochastiques P(exercice (2.7.8), et(b) dans l’absence des classes périodiques, toutes les autres valeurs propres sont strictementinférièures à 1 en valeur absolue.2. La décomposition spectrale. Revisons ici le cas le plus simple des matrices P avec formeJordan diagonale (par exemple avec valeurs propres λ i distinctes). Soit Λ la matricediagonale des valeurs propres, et soit V une matrice ayant les vecteurs propres à droitev i comme colonnes.Remarquons que la diagonalisationnous permet d’écrireP V = V Λ ⇐⇒ P = V ΛV −1P = V ΛΠ (2.21)où Π = V −1 et une matrice dont les lignes π i sont des vecteurs propres à gauche,normalisés tq π i v j = δ i,j .La représentation spectrale (2.21) de P s’écrit aussi (vérifier !) commeP = ∑ iλ i v i π i (2.22)Rq : La représentation (2.22) nous permet d’écrire une matrice arbitraire commesomme de n matrices de rang 1.En utilisant la représentation (2.22), on trouve dans le cas diagonalisable queP n = V Λ n Π = ∑ iλ n i v i π i43

et que convergence peut avoir lieu seulement dans l’absence des valeurs propres λ i ≠ λ P F tq|λ i | = λ P F (i.e., de périodicités). FinalementP n =⇒ P =R∑i:λ i =1v i π i = V Π (2.23)où R est le nb des classes recurrentes, et V Π sont les matrices ayant v i et π i comme colonneset lignes, respectivement.Cette formule reste encore valable dans le cas général, même que la décomposition deJordan peut contenir des blocs nondiagonales, car les blocs de Jordan associées à des valeurspropres tq |λ (i) | < 1 disparaissent dans la limite n → ∞ (vérifier !). On obtient donc que dansl’absence des périodicités dans les classes récurrentes, la limite de P n est donnée toujourspar (2.23).Théorème 2.7.3 1. La multiplicité de la val. propre 1 est egale au nombre R des classesrecurentes.2. Les vecteurs propres à gauche/droite correspondant à une classe recurente r sont respectivementde la forme π r 1 r , où π r est la distribution stationnaire de la classe r(completé en suite par des 0 en multipliant par 1 r ), et v r = (a r , 1 r ), où a r denote levecteur des probabilité d’absorbtion dans la classe r.3. La limite P = lim n→∞ P n existe ssi la matrice P n’a pas des valeurs propres avec|λ| = 1 à part la valeur propre de Perron-Frobenius λ P F = 1 (i.e. s’il n y a pas despériodicités), dans quel cas elle est donnée par (2.23).Dans ce cas, elle est egale à ∑ A v Aπ A .Corollaire 2.7.1 1. La distribution stationnaire est unique ssi la valeur propre de Perron-Frobenius λ = 1 a multiplicité 1.2. Une chaîne de Markov est ergodique, i.e. P n =⇒ 1π ssi les deux conditions ci dessussont verifiées.En conclusion, l’étude de l’existence et l’unicité de distributions à la longue, et l’étudedu comportement asymptotique de P n , peuvent être abordés algébriquement.Il convient quand même de s’intéresser aussi aux interprétations probabilistes, commepar exemple, au fait que ν P F coincide avec le nombre de classes récurrentes, et nous aborderonsensuite plusieurs aspects probabilistes du théorème de Perron-Frobenius (en fait, lathéorie des chaînes de Markov finies/dénombrables peut être conçue comme une explicationprobabiliste du théorème de Perron-Frobenius).2.7.5 La structure probabiliste de la matrice de distributions a lalongueNous donnerons maintenant une méthode pour la détermination des distributions “a lalongue” d’une chaîne, dans l’absence des classes récurrentes périodiques. Soit⎛⎞Q t T 1 ... ... T I0 P 1 0 ... 0P =0 0 P 2 0 .⎜⎟⎝ 0 0.. ... . . ⎠0 0 ... ... P I44

une décomposition de la matrice de transition P , avec P i , i = 1, ..., I étant les projections dela matrice P sur les classes récurrentes, et avec Q t étant la projection de la matrice P surles classes transitoires. Il est facile de verifier que la puissance P n est de la forme :⎛Q n ⎞t T 1,n ... ... T I,n0 P1 n 0 ... 0P n =0 0 P2 n 0 .⎜⎟⎝ 0 0.. ... . . ⎠0 0 ... ... PInCette formule de décomposition reflète les idées suivantes :1. Les classes récurrentes ”ne savent” pas du tout qu’il existe un ”monde extérieur” ;par conséquent, la projection P i de la matrice P sur une classe récurrente î est ellemême une matrice stochastique et la projection de la puissance P n sur la classe iest précisément Pin ; ce calcul peut être effectué en ignorant le reste des éléments. Lemême est vrai pour les probabilités de transition Q n (i, j) entre i et j transitoires, i.e.la projection de la puissance P n sur les classes transitoires est précisément Q n et peutêtre donc aussi calculée en ignorant le reste des éléments.2. Les probabilités P n (i, j) pour i, j récurrentes mais dans des classes différentes sonttoujours 0 (comme pour n = 1) et alors la limite est aussi 0. Le même est vrai pourles probabilités P n (i, j) pour i récurrent et j transitoire.3. La limite de Q n sera toujours 0, parce que la matrice Q est sous-stochastique, et leslimites de Pin seront donné par le théorème ergodique.En conclusion, si la limite P existe, elle est de la forme :⎛⎞0 X 1 ... ... X I0 Π 1 0 ... 0P =0 0 Π 2 0 .⎜⎝ .0 0 .. . ⎟ .. . ⎠0 0 ... ... Π Ioù X 1 , ..., X I sont encore à détérminer, cf. la lemme 2.7.2 ci-dessous, en résolvant un pbd’absorbtion.Exercice 2.7.5 Que devient la décomposition spectrale (2.23) dans le cas décomposable etsans éléments transitoires ?2.7.6 Le calcul de la distribution limite dans le cas généralNous considerons maintenant le cas général à plusieurs classes récurrentes. Il nous resteseulement de calculer les limites X(i, j) := lim n→∞ P n (i, j) pour i transitoire et j récurrent.Nous avons vu dans nos exemples qu’il y a deux vecteurs de probabilités à déterminer :a) p i (ĵ), de finir dans la classe de récurrence de j à partir de l’élément transitoire i, etb) π(j) la probabilité stationnaire que la chaîne soit observée dans l’état j (ou la proportionde temps passé dans l’état j.Pour cela, on utilisera :45

mult Lemme 2.7.2lim n→∞ P n (i, j) = p i (ĵ) π(j) (2.24)où on a dénoté par p i (ĵ) la probabilité d’absorption dans la classe de récurrence de j (et parπ(j) la probabilité stationnaire de j dans sa classe).En forme matricielle, Xĵ = pĵ × πĵCette loi multiplicative est assez claire intuitivement : elle reflète l’indépendance entrele comportement avant et après absorption, et se verifie facilement 1 .Donc, le calcul des limites lim n→∞ P n (i, j) pour i transitoire et j récurrent demande lecalcul des probabilités d’absorbtion p i (ĵ) et l’application de la lemme 2.7.2.p1 Exemple 2.7.2 Calculer la matrice P = lim n→∞ P n pour l’exemple :⎛⎞0 a b 1 − a − b 0 00 1 0 0 0 0P =0 0 1 10 02 2 ⎜ 0 0 0 0 0 1 ⎟⎝0 0 1 10 0⎠2 21 0 0 0 0 0Solution : Après le rangement facilitant des éléments dans l’ordre 1, 4, 6, 2, 3, 5 la matricede transition devient :⎛0 1 − a − b 0 a b 00 0 1 0 0 01 0 0 0 0 00 0 0 1 0 0P =⎜⎝ 0 0 0 0 1 20 0 0 0 1 2On aperçoit par la structure de matrice à ”blocs” qu’on peut traiter les classes (2) et(3, 5) séparément. Ici, l’absorption dans les classes récurrentes se fait toujours en partant de1, et alors les probabilités d’absorption de 4 et 6 sont identiques aux celles de 1. En plus,l’absorption se fait avec les probabilités données a, b dans les classes récurrentes (2) et (3, 5),respectivement.Finalement, on trouve par la lemme (2.7.2)1. En conditionnant sur la position k d’arrivée dans la classe de récurrence ĵ de j après le temps T detransition de la partie transitoire, on trouve que :lim n→∞ P n (i, j) = ∑ k∈ĵP i {X T = k} lim n→∞ P n (k, j) (par propr. Markov) (2.25)1212⎞⎟⎠= ∑ k∈ĵP i {X T = k} π(j)(par ergodicité de la classe récurrente) (2.26)= π(j) ∑ k∈ĵP i {X T = k} = p i (ĵ) π(j) (2.27)46

⎛0 0 0aa+bb 1a+bb21a+b 2a0 0 0a+bP =⎜⎝10 0 0 0210 0 0 02ba+bb121a+bb21a+b 2a b 10 0 0a+b a+b 20 0 0 1 0 0Le problème du calcul de P a été simplifié ci-dessus par la connaisance immédiate desprobabilités d’absorption p i (ĵ) dans chaqune des classes récurrentes.En applications, il faudra calculer les probabilités d’absorption p i (ĵ) séparément pourchaque classe, sauf une, en résolvant un système d’absorption correspondant, obtenu en”collant ensemble” toutes les éléments de chaque classe (pour la dernière classe, on peutobtenir les probabilités d’absorption comme complémentaires de celles dans les autres classes)1212⎞⎟⎠p2 Exemple 2.7.3 Calculer la matrice P = lim n→∞ P n pour l’exemple :⎛P =⎜⎝0 1 316131060 1 0 0 0 00 0 1 − a 0 a 00 1 20 0 0120 0 b 0 1 − b 01 0 0 0 0 0⎞⎟⎠Solution : Aprés le rangement des éléments dans l’ordre 1, 4, 6, 2, 3, 5 la matrice detransition devient :Le système d’absorption :⎛⎞0 1 0 1 1 13 3 6 60 0 1 10 02 2 P =1 0 0 0 0 0⎜ 0 0 0 1 0 0⎟⎝ 0 0 0 0 1 − a a ⎠0 0 0 0 b 1 − bp 1 (2) = 1 3 p 4(2) + 1 3 1 + 1 3 0p 4 (2) = 1 2 p 4(2) + 1 2 1p 6 (2) = p 1 (2)donne p 1 (2) = 3/5 = p 6 (2) et p 4 (2) = 4/5, et alors les probabilités complémentaires sont :p 1 (ˆ3) = 2/5 = p 6 (ˆ3) et p 4 (ˆ3) = 1/5 (les résultats auraient pu être dévinés, en observant quel’absorption dans les classes récurrentes se fait seulement en partant de 1 et de 4, tandis que6 a les mêmes probabilités d’abs. que 1. Posant ã = aa+b , ˜b =47ba+bon trouve finalement :

⎛P =⎜⎝0 0 0 3 2 25 5˜b 5ã0 0 0 4 1 15 5˜b 5ã0 0 0 3 2 25 5˜b 5ã0 0 0 1 0 01 10 0 0 02 21 10 0 0 02 2⎞⎟⎠Exercice 2.7.6 Démontrer la lemme, à partir des deux équations P P = P , P P = P . Quedevient la décomposition (2.23), i.e. les vecteurs propres à droite et gauche de la valeur 1dans le cas général ?Solution : Cherchons à trouver un vecteur propre à droite v (j) et un vecteur propre àgauche π (j) pour chaque élément absorbant j.On trouve π (j) = (0, 0, ..., π j , ..., 0), la distribution stationnaire de la classe j. Décomposantv (j) = (v t , 0, 0, ..., 1, .., 1, 0, ..., 0) on trouve v t = p j , où p j sont les probabilités d’absorbtiondans la classe j.En travaillant en forme matricielle, on trouve les matrices de rang 1 X j = p j × π j .2.7.7 La périodicitéOn analysera maintenant, pour chaque état e i , l’ensemble A i de temps pour lequels ilest possible de se trouver en i en partant de i, i.e.A i = {n ∈ N : p (n)ii > 0}Remarque 2.7.1 Cet ensemble est fermé sous l’opération d’addition, i.e. cet ensemble estun sous groupe de N.{}Définition 2.7.3 Soit e i dans E. On appelle période de e i l’entier d (i) = p gcd n > 0 ; p (n)ii > 0(autrement dit : p (n)ii > 0 ⇒ ∃m ∈ N ∗ tel que n = md (i) ).Si d (i) = 1 , l’état e i est dit apériodique.Remarque 2.7.2 La période ne dépend que de la classe. Une classe de période 1 est diteapériodique.Remarque 2.7.3 L’existence d’une boucle, i.e. p ii > 0, assure l’apériodicité.Exemple 2.7.4 Une classe de communication à matrice de transition ˜P , pour laquelle ilexiste un entier c tel que ˜P c = I, apellée cyclique d’ordre c, est forcement périodique, et lapériode d est parmi les diviseurs de c. Par exemple, en changeant la classe transitoire dansl’exemple ci-dessus en sorte qu’elle contient un cycle de longueur 4 et un de longueur 2, onobtient une classe cyclique d’ordre 4 et période 2.L’existence de la matrice des distributions à la longue est liée à la question de lapériodicité.48

per Exemple 2.7.5⎛⎞1 10 0 0 0 02 2 0 0 1 0 0 0 00 0 0 1 1 1 14 4 4 4P =0 1 0 0 0 0 0⎜ 0 1 0 0 0 0 0⎟⎝ 0 0 0 0 0 1 2 ⎠3 30 0 0 0 0 1 12 2On aperçoit immédiatement la classe récurrente 6, 7 et les classes transitoires 1 et 2, 3, 4, 5.La dernière classe est le collage des deux cycles de période 3, ce que donne immédiatementque A 2 = {3k, k ≥ 0} = {3, 6, 9, ...}. Si par contre un de ces cycles avait une longueur pasdivisible par 3, par exemple 4, on aurait eu : A 2 = {3k + 4l, k, l ≥ 0} = {3, 4, 6, 7, 8, 9, ...},dans quel cas A 2 contien tous les nombres en partant de 6.On voit que les ensembles A i contiennent toujours tous les nombres de la forme k d(i),pour k assez grand (cela est un résultat valable pour n’importe quel semigroup de N). En cequi concerne la périodicité, il y a deux possibilités pour A i , en dépendant de d=p.g.c.d dela longueur des deux cycles :1. Dans le cas d = 1, cet ensemble contien “tous les nombres assez grands” (en partantd’un certain point).2. Dans le cas d > 1, cet ensemble est un sous ensemble du sous groupe d N. Donc, lamatrice P (n) = P n ne peut converger quand n → ∞ (car il y aura des 0 qui alternentavec des nombres positives pour toujours : voir par exemple la marche cyclique surZ 3 ).Remarque 2.7.4 On vera que la périodicité des classes transitoires n’empêche pas du toutle calcul de la matrice de distributions à la longue, parce que la masse totale de la partietransitoire d’une chaîne converge vers 0 (voir la troisième remarque qui suit le théorème??).Par contre, la périodicité dans une classe récurrente rend la convergence impossible. Onpeut démontrer que son absence assure la convergence, car cela est équivalent à l’absencedes valeurs propres qui sont racines de l’unité, et à l’absence des valeurs propres de valeurabsolue |λ| = 1, sauf λ = 1 (par Perron-Frobenius). Finalement, le fait que λ n converge pourchaque valeur propre λ assure l’existence de la limite lim n→∞ P n .Donc, la limite à la longue P = lim n→∞ P n (i, j) d’une chaîne existe ssi il n’y apas des classes récurrentes périodiques.2.7.8 Le théorème de Perron-FrobeniusExercice 2.7.7 Est-ce qu’il existent des matrices réeles 2 × 2, sans éléments négatifs, etavec des valeurs propres complexes ?La réponse est un cas particulier du :Théorème 2.7.4 (Perron-Frobenius) Soit P une matrice finie sans éléments négatifs.Alors :1. Parmi les valeurs propres de module maximal il existe toujours une, λ = λ P F qui estréelle positive, qu’on apellera la valeur propre PF (de Perron-Frobenius). Dèslors, toutes les autres valeurs propres ont une valeur absolue inférièure ou égale à lavaleur propre λ P F .49

e:PF2. Le bloque de Jordan correspondant à λ P F a une structure diagonale (i.e. la multiciplitéalgebrique ν P F de λ P F est égale à la dimension de son espace de vecteurs propres), et lesespaces des vecteurs propres à droite et à gauche de λ P F contiennent chacun une basede vecteurs propres v (P F )i , π (P F )i , i = 1, 2, ..., ν P F ayant toutes leurs composantesnonnégatives.3. S’il y a d’autres valeurs propres égales à λ P F en valeur absolue, elles doivent être desracines de λ P F , i.e. de la forme λ 1/pP F , p ∈ N.Rémarque : Le théorème de PF a plusieurs implications pour l’analyse des chaînesde Markov homogènes à espace d’états fini. Par exemple, l’existance des valeurs propresqui sont des racines de λ P F est équivalente à la presence des périodicités dans la suite despuissances P n , n = 1, 2, ...Exercice 2.7.8 Démontrer qu’une matrice stochastique P n’a pas de valeurs propres avecmodule plus grand que 1, et donc sa valeur propre PF est égale à 1. Ind : Intuitivement, lesmoyennes ponderées de v données par P v ne peuvent pas augmenter les composantes de v.Exercice 2.7.9 Montrez que le théorème de Perron-Frobenius implique :1. Une chaîne homogène à espace d’états fini a au moins une distribution stationnaire.2. La dimension de l’espace d’états des distributions stationnaires coincide avec le nb desclasses de récurrence.Conclusion : On voit que la connaissance de la structure du graphe de communicationsimplifie considerablement le problème du calcul de la limite P .2.7.9 Exercices1.⎛P =⎜⎝0 1 0 0 0 0140 0 0 3 400 1 0 0 0 0340 1 40 0 00 0 0 1 30 2 30 0 1 20 1 20Calculer la limite P et la décomposition spectrale, en utilisant un logiciel si nécessaire.2. L’espace des etats d’une chaine est S = 1, 2, 3, 4, 5, 6 et la matrice de transition est⎛P =⎜⎝0 1 41210 040 1 0 0 0 00 0 1 30 2 300 0 0 0 0 10 0 1 40 3 40140 0 0 3 40(a) Dessinez le graphe de communication et identifiez les classes de la chaîne. Classifierles classes en récurrents et transitoires. Y’ a-t-il des classes periodiques ?(b) Trouvez la distribution stationnaire des classes récurrentes.(c) Trouvez la limite quand n → inf de la matrice de transition apres n étapes P n50⎞⎟⎠⎞⎟⎠

2.8 Exercices de révision1. Considérez une particule effectuant une marche aléatoire simple X t , t = 0, 1, 2, ...sur le graphe (A) ci-dessous : i.e. à chaque moment t = 1, 2, ..., la particule se déplacevers l’un de ses voisins sur le graphe à sa position actuelle, avec la même probabilitépour chaque choix.(A)(B)112 32 3005454(a) Calculer :(b)i. L’ésperance en sortant de 1 du nombre de pas T 0 jusq’au noeud 0. Indication :Utiliser la symmetrie.ii. L’ésperance en sortant de 0 du nombre de pas ˜T 0 jusq’au premier retour en0.iii. Les probabilités stationnaires de chaque noeud. Indication : On peut utiliserles èquations d’équilibre detaillé.iv. La probabilité x 2 = P 2 {X T = 1}, où T = min[T 1 , T 0 ].v. Les probabilités p k en partant de 1 que la marche visite 0 exactement k fois(k = 0, 1, 2, ...) avant le premier retour en 1.À un moment donné, le passage sur certaines arrêts du graphe devient impossible,ou possible seulement dans une direction, comme indiqué par des flèches dansle graphe (B). Plus précisement, la particule continue de choisir des destinationssuivant le graphe (A) (”aveuglement”), mais les choix qui ne sont plus disponiblesrésultent dans un pas annulé, donc sur place.i. Donnez la matrice de transition de la marche.ii. Identifiez les classes de la chaîne, et classifiez les en récurrentes et transitoires.iii. Trouvez la distribution stationnaire de chaque classe récurrente.iv. Est-ce que la limite quand n → ∞ de la matrice de transition apres n étapesP n existe ? Le cas écheant, trouvez-la.51

2. Des femmes et des hommes arrivent dans un magasin, après des temps fixes, unitaires.Chaque instant, une femme arrive avec probabilité λ F , ou un homme arrive avec probabilitéλ H , ou il n’y a pas d’arrivée, avec probabilité q = 1 − λ F − λ H .a. Trouver la probabilité qu’une femme entre avant un homme. Indication : Conditionnezsur le premier instant, ou sur le nombre d’instants sans arrivées.b. Trouver la probabilité que deux femme entrent avant un homme.c. Quelle est la probabilité qu’au moins deux hommes soient entrés consecutivement(pas forcement aux moments consecutifs), avant que trois femmes ne soient entréesconsecutivement (pas forcement aux moments consecutifs). Indication : Considèrez unprocessus de Markov sur l’espace des états : (H1, H2, H3, ...) ∪ (F 1, F 2, F 3, ...), quienregistre la longueur k du nombre des clients k ∈ {1, 2, ...} du même sexe entrésconsecutivement jusq’au temps t, et leur sexe (H/F) ; formulez des equations d’arrêtpour les états d’arrêt indiqués.3. a) Une mouche effectue une marche cyclique sur les sommets {1, 2, 3} d’un triangle,avec matrice de transition ”circulante”⎛ ⎞a b cP = ⎝c a b⎠b c aoù a, b, c ≥ 0 et a + b + c = 1. Il est facile de verifier que la matrice de transitionP n est aussi ”circulante” (i.e. chaque ligne est déduite de la ligne précédente par unepermutation cyclique de ses éléments vers la droite ) et on dénote par (a n , b n , c n ) leséléments de sa première ligne.(a) Quelles sont les valeurs limites de (a n , b n , c n ) quand n → ∞ ?(b) On cherche une formule explicite, aussi simple que possible, pour la probabilitéa n = P n (1, 1) qu’après n étapes, la mouche soit retournée au sommet 1 d’où elleest partie. Soit v n = (b n , c n ). Trouvez une récurrence pour le vecteur v n .(c) Résolvez cette récurrence et trouvez a n , au cas a = b = c = 1/3 et au casb = c = 1/2.(d) Résolvez la récurrence, au cas où la mouche a deux fois plus de chances de sauterdans le sens des aiguilles d’une montre, i.e. b = 2/3, c = 1/3.(e) Généraliser au cas d’une marche cyclique sur les sommets d’un polygone aveck sommets (utilisant eventuellement votre language formel de choix, commexmaxima,...). Ind : Cela nous ramène à ètudier, eventuellement `l’aide de Maxima,les puissances des matrices circulantes stochastiques :A :=matrix([1-b-c,b,c],[c,1-c-b,b],[b,c,1-c-b]) ;Vérifier que la matrice est entré correctement en calculant A1 = subst(1, b, A); A2 =subst(0, b, A1); A2 3 ;Note : Maxima n’est pas capable de calculer puissances matricielles symboliques,et elle refuse de faire même les matrices diagonales ; mais elle accepte les produitsde Hadmard symboliques, et comme les deux coincides, elle reussi aussi les produitsmatricielles symboliques, avec un peu d’aide :V :eigenvectors(A) ; V1 :V[2] ;V2 :V[3] ;V3 :V[4] ; VD :transpose(matrix(V1,V2,V3)) ;52

M :ratsimp(invert(VD).A.VD) ; An :ratsimp(VD.M n .invert(VD)) ;4. Soit X t une chaîne de Markov absorbante, soit ∂ l’ensemble de ses états absorbantes,soit B, A une decomposition de l’ensemble des états transitoires, et soitoùp(k, B) = (p x (k, B), x /∈ ∂)p x (k, B) := P x {exactement k visites en B avant l’absorbtion en ∂}, x /∈ ∂(a) Quel type de distribution on trouve pour p x (k, B), quand B = {x} ? (Specifiez lesparamètres). Quel est le résultat pour la chaîne associé à :⎛⎞0 1 − a a 0 01 − b 0 b 0 0⎜ x 1 x 2 0 x 4 1 − x 1 − x 2 − x 4⎟ où B = {3}, et en particulier pour⎝ 0 0 c 0 1 − c ⎠0 0 0 0 1a = b = c = 1/2, x 1 = x 2 = x 4 = 1/4 (”le papillon”).OUBAFigure 2.4 – Marche aléatoire simple sur le graphe papillonC(b) Pour B quelqonque, en conditionnant sur le premier pas, trouvez une relationentre les variables p x (k, B), x ∈ A, k ∈ N, et finalement une récurrence vectoriellep(k) = Mp(k − 1), en spécifiant comment obtenir la matrice M à partir de lamatrice P de transition de la chaîne. Vérifiez votre formule avec le cas B = A.(c) Retrouvez le résultat pour le ”papillon généralisé” ci-dessus, dans le cas qu’oncherche la probabilité p k en partant de U = 5 que la marche visite O = 1 exactementk fois (k = 0, 1, 2, ...) avant le premier retour à U) (les autres sommetsseront libelés A = 2, B = 3, C = 4), à partir de la formule générale.(d) Considerez aussi le ”papillon généralisé”, en prenant B = {1, 2, 3}. Vérifiez pourcet exemple que la somme ∑ ∞k=0 p k(i, B) = 1, ∀i ∈ {1, 2, 3}.(e) Ecrivez un program dans votre language de choix qui calcule p(k, B) et uneapproximation p(k, B) ≈ cλ k pour une chaîne et ensemble B arbitraires etdémontrez sa performance sur les exemples 3.5, 3.6 (pages 23-24) et ensembles Bde votre choix.53

5. a) Quelle est la probabilité que la marche aléatoire simple est de retour en 0 après 2npas ? b) Approximer cette quantité par la formule de Stirling lim n→∞n!(n/e) n√ n = √ 2π.6. Ruegg, 2.9 :10,5,6,14,13,11.Solutions1. (a) i. Soitt i = E i T 0 = E i [ nombre de pas jusq’au noeud 0]La symmetrie implique t 2 = t 3 , t 5 = t 4 , donc trois équations suffiront (au lieude 5). En conditionnant sur le premier pas, on trouve que t i satisfont :t 1 = 1 + t 2t 2 = 1 + 1 4 t 1 + 1 4 t 2 + 1 4 t 5t 5 = 1 + 1 3 t 5 + 1 3 t 2Ça donne : t 5 = 11, t 3 2 = 13,t 3 1 = 163ii. E ˜T 0 = 1 + 1(t 4 2 + t 3 + t 4 + t 5 ) = 1 + 12 = 5 (= 1 3 π 0)iii. π i sont proportionels aux degrés v i des sommets, i.e. π i = v i ∑j v j , donnant(π 1 = 2/(2 + 4 ∗ 3 + 3 ∗ 2) = 1 , π 10 2 = 4/20 = 1, π 5 0 = 3 ) (en vérifiant ainsi le20théorème E ˜T 0 = 1 π 0).iv. Le système d’absorption, tenant compte de x 2 = x 3 , x 4 = x 5 est :x 2 = 1 4 x 2 + 1 4 x 4 + 1 4Ça donne : x 2 = 2 5 , x 4 = 1 5 .v. p k = ( 2 5 )k 3 5 .x 4 = 1 3 x 2 + 1 3 x 4(b) i. Après la détérioration, la matrice de transition est :⎛⎞1 0 0 0 0 00 0 1 10 02 2 1 1P =0 1 0 1 4 4 4 41 1 1⎜ 0 1 04 4 4 4 ⎟⎝0 0 0 0 2 1⎠3 30 0 0 0 1 23 3Sans les pas sur place, elle serait⎛⎞1 0 0 0 0 00 0 1 10 02 2 1 1P =0 1 0 1 4 4 4 41 1 1⎜ 0 1 04 4 4 4 ⎟⎝0 0 0 0 1 0⎠0 0 0 0 0 154

ii. classes recurrentes : {0}, {4, 5} ; classe transiente : {1, 2, 3}.iii. les distributions stationnaires des classes recurrentes : 1 et ( 1 2 , 1 2 ).iv. Le système d’absorption pour les probabilités d’absorption dans la classe 0est :x 1 = 1 2 x 2 + 1 2 x 3x 2 = 1 4 x 3 + 1 4 x 1 + 1 4x 3 = 1 4 x 2 + 1 4 x 1 + 1 4et x 1 = x 2 = x 3 = 1 2 .La matrice des distributions asymptotique :2. (a) La probabilité p F satisfait⎛⎞1 0 0 0 0 010 0 0 1 12 4 41P =0 0 0 1 12 4 41⎜ 0 0 0 1 12 4 4⎟⎝0 0 0 0 1 1⎠2 20 0 0 0 1 12 2p F = λ F + (1 − λ F − λ H )p F ⇐⇒ p F =λ Fλ F + λ H(b) p 2 F(c) Considerons la chaîne de Markov en temps discret qui enregistre la longueurdu nombre des clients du même sexe entrés consecutivement et le type, ayantcomme espace des états les suites (H1, H2, H3, ...) ∪ (F 1, F 2, F 3, ...). En prenanten consideration seulement les temps quand la chaîne saute, pn a une marchealéatoire qui ”avance” sur les hommes/femmes a.p. p H = 1 − p F et p F , et ”changede sexe” outrement. Par exemple, si λ F = 2λ H , les deux probas sont p H = 1 3 , p F =23 . En denotant par x i, y i la probabilité de notre evenement en partant d’une suitedes i femmes hommes, il faudra resoudre :y 1 = p H + p F x 1x 1 = p H y 1 + p F x 2x 2 = p H y 1Generalisant pour m hommes et n femmes et posant S F,k, nous trouvont∑ ki=1 pi H= ∑ ki=1 pi F , S H,k =y 1 =p m−1H1 − p H p F S H,m−2 S F,n−2, x 1 =55p m H S F,n−21 − p H p F S H,m−2 S F,n−2

et finalementp H y 1 + p F x 1 = pm H (1 + p F S F,n−2 )1 − p H p F S H,m−2 S F,n−2=Pour m = 2, n = 3, on trouve :ety 1 =p H1 − p H p F (1 + p F ) , x 1 =p m H S F,n−1)1 − p H p F S H,m−2 S F,n−2p 2 H (1 + p F )1 − p H p F (1 + p F )p H y 1 + p F x 1 = p2 H (1 + p F + p 2 F )1 − p H p F (1 + p F )3. a) L’équation de Chapman-Kolmogorov donne imédiatement une formule explicite :P n (1, 1). On note aussi que les marches cycliques ont la matrice de transition P circulante,et donc nous avons une decomposition spectrale bien-connue explicite, qui utiliseles racines (complexes) de l’unité. Mais, on peut faire mieux. La matrice P n est aussicirculante, et contient donc seulement deux inconnues : b n = P n (1, 2), c n = P n (1, 3).Soit b = P (1, 2), c = P (1, 3), a = P (1, 1) = 1 − b − c les probabilités après un pas. Ontrouve ( la récurrence ) ( : ) ( )bn+1 − 1/3 a − b c − b bn − 1/3=c n+1 − 1/3 b − c a − c c n − 1/3Le cas b = c = 1/2 et a = b = c = 1/3 donnent des récurences ”decouplées”. Le casb = 2/3, c = 1/3 est plus difficile. En utilisant l’ordinateur, on rémarque que :où v n = v n+12 est périodique.(b n − 1/3, c n − 1/3) = (1/3, 1/3) + 3 −1−n/2 v n4. (a) Quand |B| = 1, on trouve une distribution geometrique p x (k, {x}) = λ k−1 (1 − λ)où : 1−λ = p x (1, {x}) = Q(x, ∂(A)+ ∑ ∑y∈A−B p(x, y)P y[T ∂(A) < T x ] = Q(x, ∂(A)+y∈A−B p(x, y)(1−P y[T ∂(A) > T x ]), et λ = Q B,B + ∑ y∈A−B p(x, y)P y[T ∂(A) > T x ] =Q B,B + Q B,A (I − Q A ) −1 Q A,B , car pour k ≥ 2 on a :p x (k, {x}) =∑p(x, y)P y [T ∂(A) > T x ]p x (k − 1, {x}) = λp x (k − 1, {x})y∈A−BPour le papillon, B = {3}, λ B = x 1 + x 2 + cx 4 = 5/8 et pour B = {1}, λ B = 3/8.(b) Il est convenable de partager p k = (a k , b k ), où b k = (p x (k, B), x ∈ B), a k =(p x (k, B), x ∈ A, x /∈ B). On peut supposer qu’il y a un seul état absorbant (en”collant ensemble” tous les états absorbants), et soit⎛⎞Q A Q A,B | q AP = ⎝Q B,A Q B | q B⎠0 0 | 1la partition de la matrice de transition contenant les états dans l’ordre A−B, B, ∂.On a b 0 = 0, b 1 = q B + Q B,A a 0 eta 0 = q A + Q A a 0 =⇒ a 0 = (I − Q A ) −1 q A ,b 1 = q B + Q B,A (I − Q A ) −1 q A56

Pour k ≥ 2, x ∈ B, p x (k, B) = ∑ y∈A P (x, y)p y(k − 1, B), et doncb k = Q B b k−1 + Q B,A a k−1tant que pour x /∈ B, k ≥ 1, p x (k, B) = ∑ y∈A P (x, y)p y(k, B) et doncCommea k = Q A,B b k + Q A a k =⇒ a k = (I − Q A ) −1 Q A,B b kb 1 = (I B − Q B )1 B − Q B,A 1 A + Q B,A (I − Q A ) −1 ((I A − Q A )1 A − Q A,B 1 B ) = (I B − M)1 Bon trouveb k = (Q B + Q B,A (I − Q A ) −1 Q A,B )b k−1 =⇒ b k = M k−1 ((I B − M)1 B )où M = Q B + Q B,A (I − Q A ) −1 Q A,B est la matrice de transition de la ”chaîneinduite” sur B (où ”complement de Shur” de A en Q).Quand B = A, on retrouve b k = Q k−1B q B.(c) En résolvant le système d’absorbtion pour p A , p B , p C , on trouve p A = 3/4, p B =1/2, p C = 1/4. 5) Soit p A,k = P A {exactement k visites en U avant le retour en O},avec p B,k , p C,k définies pareillement, et p k = (p A,k , p B,k , p C,k ).Ainsi, p 0 = (p A , p B , p C ) et p 0 = 1(p 2 A,0 + p B,0 ) = 1(p 2 A + p B ).Pour k ≥ 1, on trouve :⎛⎞ ⎛⎞0 1/2 0 0 0 0p k = ⎝1/4 0 1/4⎠ p k + ⎝0 1/8 1/8⎠ p k−10 1/2 0 0 1/8 1/8⎛⎞⎞1 −1/2 0⇐⇒ p k = ⎝−1/4 1 −1/4⎠0 −1/2 1⎛⎞0 1/8 1/8⇐⇒ p k = ⎝0 1/4 1/4⎠ p k−10 3/8 3/8−1 ⎛0 0 0⎝0 1/8 1/80 1/8 1/8⎠ p k−1⎛1 0⎞1/3Les vecp à droite sont les colonnes de ⎝0 −1 2/3/ ⎠, les valp correspondantes0 1 1sont : 0, 0, 5/8 et le vecp de PF à gauche est : (0, 3/5, 3/5).⎛ ⎞1/5Dés lors, p k = (5/8) k−1 (p B + p C ) ⎝2/5⎠ et p k = (5/8) k−1 (p B + p C )3/103/52.9 Contrôle continu 11. Marches reversibles ?57

(a) Considerez une chaîne de Markov sur {1, 2, 3} avec matrice des transitions⎛0 1/6 5/6⎞P = ⎝ 6/7 0 1/7 ⎠30/31 1/31 0Combien d’équations d’équilibre detailléπ i P (i, j) = π j P (j, i), avec i ≠ j, P (i, j) ≠ 0, et P (j, i) ≠ 0)y a t’il ? Est-ce qu’ils admettent des solutions strictement positives ? Le caséchéant, trouvez la distribution stationnaire.(*) Est-ce que les équations d’équilibre detaillé continuerons à admettre des solutions(strictement positives), si on modifie une des lignes de la matrice destransitions, en laissant les deux autres inchangées ?(b) Soit X n une chaîne de Markov sur {0, 1, 2, ..., B}, B ∈ N, avec :P (i, i + 1) = p, ∀i ∈ {0, 1, 2, ..., B − 1}P (i, i − 1) = q, ∀i ∈ {1, 2, ..., B − 1, B}P (0, 0) = q, P (B, B) = p, etP (i, j) = 0 outrement(on suppose 0 < p, q et p + q = 1). Combien d’équations d’équilibre detaillé y at’il ? Est-ce qu’ils admettent des solutions strictement positives ? le cas échéant,trouvez la distribution stationnaire.(*) Est-ce que les équations déquilibre detaillé continuerons à admettre des solutions(strictement positives), si on modifie les valeurs p, q à p i > 0, q i > 0, p i +q i =1, ∀i ∈ {0, 1, 2, ..., B} (en gardant exactement le même graphe des transitions avecprobabilités non nulles) ?2. Considérez une particule effectuant une marche aléatoire simple X t , t = 0, 1, 2, ...sur le graphe (A) ci-dessous : i.e. à chaque moment t = 1, 2, ..., la particule se déplacevers l’un de ses voisins sur le graphe à sa position actuelle, avec la même probabilitépour chaque choix.(a) Calculer :i. Les probabilités stationnaires de chaque noeud.ii. L’ésperance en sortant de 1 du nombre de pas T 0 jusq’au noeud 0. Indication :Utiliser la symmetrie.iii. L’ésperance en sortant de 0 du nombre de pas ˜T 0 jusq’au premier retour en0.(b) i. La probabilité x 2 = P 2 {X T = 1}, où T = min[T 1 , T 0 ].(c)ii. Les probabilités p k en partant de 1 que la marche visite 0 exactement k fois(k = 0, 1, 2, ...) avant le premier retour en 1.À un moment donné, le passage sur certaines arrêtes du graphe devient impossible,ou possible seulement dans une direction, comme indiqué par des flèches dans legraphe (B). La particule continue de choisir des destinations suivant le grapheinitial (A) comme dans la question précédente, mais les choix qui ne sont plusdisponibles résultent cette fois dans un pas annulé, donc sur place.58

(A)(B)112 32 3005454i. Donnez la matrice de transition de la marche.ii. Identifiez les classes de la chaîne, et classifiez les en récurrentes et transitoires.iii. Trouvez la distribution stationnaire de chaque classe récurrente.iv. Est-ce que la limite quand n → ∞ de la matrice de transition apres n étapesP n existe ?v. (*) Le cas écheant, trouvez-la.3. La chaîne paresseuse : Soit X n une chaîne de Markov sur {0, 1, 2, ..., B}, B ∈ N,avec 0 et B états absorbants, etP (i, i + 1) = p f i ,P (i, i − 1) = q f i ,P (i, i) = 1 − (p + q)f i ,P (i, i + k) = 0 pour|k| > 2, ∀i ∈ {1, 2, ..., B − 1}(on suppose 0 < p, q, f i et f i (p + q) < 1, ∀i ∈ {1, 2, ..., B − 1}). Nous arrêtons leprocessus au temps d’arrêt T = inf{n : X n /∈ [1, B − 1]} auquel le processus sort del’intervalle [1, B − 1].Pour tout x de N, on note par P x , E x la mesure et espérance en commençant de x(conditionnant sur X 0 = x).(a) Quelles sont les équations de récurrence et les conditions frontière satisfaites parp x = P x {X T = K}, t x = E x T , et g x = E x X T .(b) Résolvez les équations de récurrence qui en résultent quand p = q < 1/2, f i = 1,et quand p = q < 1/2, f i = 1/i.59

Solutions1. a) C’est juste un système linéaire avec n = 3 inconnues (bon, deux, car latroisième viendra de la normalisation).Pour faciliter la tache, on peut quand même comencer par resoudre n−1 = 2 équationsd’équilibre detailléπ 1 5/6 = π 3 30/31, π 2 1/7 = π 3 1/31.Prenons π 3 = 31 (en renoncant pour l’instant à la normalization). On trouve π 1 =36, π 2 = 7, qui satisfont aussi la troisième équations d’équilibre detaillé.Il ne reste qu’a normaliser par la somme :π = 1 (36, 37, 31).74Rq : La matrice D(i, j) = π i P (i, j) obtenue ainsi (avec ou sans normalisation) estsymmétrique.⎛0 6 30⎞D = ⎝ 6 0 1 ⎠30 1 0(et pourrait correspondre aux conductances d’un réseau).Pour une matrice stochastique arbitraire de dimension 3, les quatre équations correspondantes(trois d’équilibre detaillé + la normalisation) n’auront pas de solution, etdonc la distribution stationnaire ne sera pas reversible/”graphique/electrique”. En general,les matrices de dimension n ≥ 3 n’ont pas de ”graphe ponderé associé) maisseulement le digraph (graphe directionné) de communication bien connu.b) Les équations d’equilibre correspondent à une recurrence d’ordre deux (donc facileà résoudre), mais les équations d’équilibre detaillé sont d’ordre 1, donc super facileà résoudre. Comme il y a que B − 1 équations d’équilibre detaillé, cette fois ca restesuper facile même avec une matrice arbitraire avec le même (di)graphe. Ca sera le casde tous les graphes forêts (sans cycles), car un graphe forêt avec B noeuds a B − 1arrêtes ! (dem par recurrence).2. (a) i. π i sont proportionels aux degrés d i des sommets. En divisant par la sommeD = 2 + 4 ∗ 3 + 3 ∗ 2 = 20, on trouve π i =d i ∑j , donnant (π d 1 = 2/20 =j1, π 10 2 = π 3 = π 0 = 4/20 = 1, π 5 4 = π 5 = 3 ) 20ii. Soitt i = E i T 0 = E i [ nombre esperé de pas jusq’au noeud 0].Rq : Pour cette question, le noeud 0 est effectivement absorbant.La symmetrie implique t 2 = t 3 , t 5 = t 4 , donc trois équations suffiront (au lieude 5). En conditionnant sur le premier pas, on trouve que t i satisfont :t 1 = 1 + t 2t 2 = 1 + 1 4 t 1 + 1 4 t 2 + 1 4 t 560t 5 = 1 + 1 3 t 5 + 1 3 t 2

(b)Rq : C’est la structure typique Gt + 1 = 0 pour les pbs de temps esperé.Ça donne : t 5 = 11, t 3 2 = 13, t 3 1 = 16 3iii. E ˜T 0 = 1+ 1(t 4 2 +t 3 +t 4 +t 5 ) = 1+ 12 = 5 (= 1 3 π 0) en vérifiant ainsi le théorèmeE ˜T 0 = 1 π 0.i. Rq : Pour cete question, les noeuds 0, 1 sont effectivement absorbants. Lesystème d’absorption, tenant compte de x 2 = x 3 , x 4 = x 5 est :x 2 = 1 4 x 2 + 1 4 x 4 + 1 4x 4 = 1 3 x 2 + 1 3 x 4Rq : C’est la structure typique Gp = 0 pour les pbs de prix final esperé.Ça donne : x 2 = 2 5 , x 4 = 1 5 .ii. Rq : Pour cette question, le noeud 1 est absorbant.p k = ( 2 5 )k 3 5 .(c) i. Après la détérioration, la matrice de transition est :⎛⎞1 0 0 0 0 00 0 1 10 02 2 1 1P =0 1 0 1 4 4 4 41 1 1⎜ 0 1 04 4 4 4 ⎟⎝0 0 0 0 2 1⎠3 30 0 0 0 1 23 3(Sans les pas sur place, elle serait)⎛⎞1 0 0 0 0 00 0 1 10 02 2 1 1P =0 1 0 1 4 4 4 41 1 1⎜ 0 1 04 4 4 4 ⎟⎝0 0 0 0 1 0⎠0 0 0 0 0 1ii. classes recurrentes : {0}, {4, 5} ; classe transiente : {1, 2, 3}.iii. les distributions stationnaires des classes recurrentes : 1 et ( 1 2 , 1 2 ).iv. Le système d’absorption pour les probabilités d’absorption dans la classe 0est :x 1 = 1 2 x 2 + 1 2 x 3x 2 = 1 4 x 3 + 1 4 x 1 + 1 4x 3 = 1 4 x 2 + 1 4 x 1 + 1 4et x 1 = x 2 = x 3 = 1 2 . 61

v. La matrice des distributions asymptotique est :⎛⎞1 0 0 0 0 010 0 0 1 12 4 41P =0 0 0 1 12 4 41⎜ 0 0 0 1 12 4 4⎟⎝0 0 0 0 1 1⎠2 20 0 0 0 1 12 23. (a) Soit (Gf) x = p (f x+1 −f x )+q (f x−1 −f x ) l’operateur du cas ”non-paresseux”,(saufque maintenant p + q < 1.Les équations sont respectivement :(Gp) x = 0, p K = 1, p 0 = 0(Gg) x = 0, g K = K, g 0 = 0f x (Gt) x + 1 = 0, t K = 0, t 0 = 0La partie homogène des équations est exactement la même comme pour une marche”non-paresseuse”, mais la partie non-homogène des équations est differente.(b) Pour p x et g x on obtient donc les mêmes équations comme pour une marche symmetriqueavec p = 1/2, i.e. :2pp x = pp x+1 + pp x−1 for any 1 ≤ x ≤ K − 1p K = 1, p 0 = 00et donc les mêmes réponses p x = x , Kesperé) on trouve :g x = x Pour t x = E x [T ] (temps de sortiet x = t x+12 + t x−12 + 12pt K = 0, t 0 = 0for any 1 ≤ x ≤ K − 1avec solution t x = x(K−x)2p.62

2.10 Contrôle continu 20111. a) Obtenez une formule explicite pour la suite décrite par la relation de récurrenceci-dessous (et verifiez-la en utilisant les premiers termes de la suite)T n = 4T n−1 − 3T n−2 + 2, n ≥ 2, T 0 = T 1 = 0 (2.28)b) Calculez la fonction génératrice T (z) = ∑ n≥0 T nz nc) (*) Obtenez la fonction génératrice T (z) directement, en appliquant la méthode desfonctions génératrices à l’équation (2.28).2. On lance une pièce de monnaie biaisée, avec la probabilité de sortir face égale à q etcelle de sortir pile égale à p = 1 − q, jusqu’à ce qu’on obtient une suite de K piles(pile-pile-pile-..), arrivèes consécutivement.a) Trouvez l’espérance n = EN du nombre de jets N jusqu’à l’arrêt, en incluantles derniers pas, quand K=2, et donnez la reponse en termes de p. Indication : Onpourrait utiliser un processus de Markov qui retient l’information minimale nécessairepour décider si l’événement désiré a eu lieu, et qui contient dans ce cas l’état finaldesiré, et tous ses prefixes.b)(*) Trouvez l’espérance n = EN quand K=3. Proposez une formule valable pourun nb. arbitraire K.⎛p 1 p |⎞1 − p 1 − p3. Soit X t une chaîne absorbante sur {1, 2, a} avec matrice de transition ⎝ 0 p 2 | 1 − p 2⎠0 0 | 1⎛⎞Q| 1 − p 1 − p⎝ | 1 − p 2⎠ où Q =0 0| 1Soit N le nombre des pas (transitions) jusqu’à l’absorbtion en a.( )p1 p, et avec distribution initiale (1, 0, 0).0 p 2(a) Quelle est la valeur de N si X 0 = X 1 = ... = X k−2 = 1, X k−1 = 2 et X k = a ?(b) Trouvez l’esperance du nombre des pas N jusq’à l’absorbtion.(c) Demontrez que pour i, j ∈ {1, 2}, et k ∈ {1, 2, ...}, il est vrai que(d) Quelle sont les probabilités(e) Donnez la formule des probabilitésP [N ≥ k, X k = j|X 0 = i] = P [X k = j|X 0 = i]P [N ≥ 2, X 2 = j|X 0 = i], i, j ∈ {1, 2}a 1 = P [N ≥ k, X k = 1|X 0 = 1], a 2 = P [N ≥ k, X k = 2|X 0 = 2], k ∈ {1, 2, ...}(f) Calculez la matrice generatrice (I − xQ) −1 .(g) Calculez la matrice fondamentale (I − Q) −1 , et verifiez la reponse du point b).63

(h) (*) Calculez Q k , en utilisant le developpement limite (en serie de puissances) dela matrice generatrice (I − xQ) −1 .(i) (*) Trouvez les probabilités P [N ≥ k|X 0 = 1].Solutions1. a)T n = 1 2 (3n − 1) − nb)T (z) =12(1 − 3z) − 12(1 − z) − z(1 − z) = 12 2(1 − 3z) + 12(1 − z) − 1(1 − z) = 2z 22 (1 − z) 2 (1 − 3z)La dernière expression peut être obtenue directement, à partir de la recurrence.2. a) Considerons le processus de Markov sur les états suivants, qui specifient une decompositionen trois cas possibles pour la longueur de la dernière suite des deux piles :A = {P P }, P = {P c P }, P c = {P c P }, et soit x 0 , x 1 , x 2 = 0 le nombre esperé des futurspas jusq’á l’arrêt, conditionné par ces états initiaux.( ) q pSoit Q = . Les deux inconnues v = (xq 00 , x 1 ) satisfont (Q − I)v + 1 = 0. Laréponse estx 1 = 1 p 2 , x 0 = 1 + pp 2 .b) Considerons le processus de Markov sur les états suivants, qui specifient une decompositionen trois cas possibles pour la longueur de la dernière suite des piles :A = {P P P }, P P = {P c P P }, P = {P c P }, P c = {P c }, et soit x 0 , x 1 , x 2 , x 3 = 0 lenombre esperé des futurs pas jusq’á l’arrêt, conditionné par ces états initiaux.⎛ ⎞q p 0Soit Q = ⎝q 0 p⎠. Les trois inconnues v = (x 0 , x 1 , x 2 ) satisfont (Q − I)v + 1 = 0.q 0 0La réponse est3. a) N = k, b) E 1 N = 1x 2 = 1 p , x 3 1 = 1 + p , xp 3 0 = 1 + p + p2p 31−p 1+p(1−p 1 )(1−p 2 ) ,c) Pour i, j transients, l’evenement [X k = j|X 0 = i] implique, est inclu et en effetcoincide avec [N ≥ k, X k = j|X 0 = i]d) Q 2 (i, j) = ...e) On devine et comprends facilement que a i = Q k (i, i) = p k i , i = 1, 2f) La matrice generatrice est(I − xQ) −1 =64(11−xp 1)xp(1−xp 1 )(1−xp 2 )1−xp 201

g) En posant x = 1, on trouve la matrice fondamentale :(I − Q) −1 =(11−p 1)p(1−p 1 )(1−p 2 )1−p 201n 2 = E 2 N = 1 , n 1 = E 1 N = 1p+1 − p 2 1 − p 1 (1 − p 1 )(1 − p 2 )( ∑k−1)h) On retrouve Q k (1, 1) = p k 1, Q k (2, 2) = p k 2, et on trouve Q k (1, 2) = pi=0 pi 1p k−1−i2 .Pour interpreter probabilistiquement la formule de Q k (1, 2), il est utile de remarquerqu’il s’agit de la distribution phase la plus simple(qui n’est ni serie, ni parallèle∑k−1)i) P [N ≥ k|X 0 = 1] = Q k (1, 1) + Q k (1, 2) = p k 1 + pi=0 pi 1p k−1−i2 . La somme verifiela reponse b).65

Chapitre 3Programmation3.1 Scilab et Logiciels symboliques (SAGE et maxima)3.2 ProjetsLes projets seront notées à partir du travail en classe ; la presence est une partie esentiellede la note.1. Essayez les commandes Scilab :P=genmarkov([2,1],2), P 20 , [G,D]=eigenmarkov(P), P G − D ∗ G, P 20 G − D 20 ∗ G.Notes : 1) les resultats de eigenmarkov sont des vecteurs propres nonnegatifs, ce quin’est pas le cas avec les commandes ”généralistes” spec en Scilab et eig en Matlab.2) Pour documentation Scilab, voir http ://cermics.enpc.fr/scilab new/site/Liens/intro/intro.htmou http ://www.scilab.org/product/man-eng/index.html. Pour obtenir de l’aide, helpsum,...2. Ecrivez un programme Scilab qui simule une fois une v.a. (variable aléatoire) avec desprobabilités specifiés par un vecteur nonnegatif (ex : p = [1/6, 1/3, 1/2, 0]), et prenantdes valeurs dans l’ensemble 1, 2, ..., n=length(p).R : % rando.m generates a random variable ”ind” in 1, 2, ..., n//given a distribution vector "p".function [index] = disc(p),u = rand(1,1); i = 1; s = p(1);while ((u > s) & (i < length(p))),i=i+1;s=s+p(i),// s est le cumsum de pendindex=i,endfunctionDécouvrez le chemin de votre directoire de travail par >>pwd et son contenu par>>dir. Sauvegardez la fonction antérieure dans ce directoire, dans un fichier lib, contenantdes programmes utiles.Vous allez pouvoir les reutiliser en chaque session, après avoir executé lib (menu fichier).3. creez et ajoutez au fichier lib une fonction sim(N,a,d), où a,d sont des vecteurs detailles egales, qui qui simule un nb des fois (N) une v.a. (variable aléatoire) prenantdes valeurs specifiés par un vecteur donné, avec les probabilités specifiés par un autre66

vecteur (par exemple N = 8, a = [1, 3, 5, 100], d = [1/6, 1/3, 1/2, 0]), et sorte une listedes valeurs obtenues ”sim” et les frequences ”f” de chaque valeur.Sol :function [simul,f] = sim(N,d,a),p=d/sum(d);s=cumsum(p);K=size(d,2);//Nb. des colonnesx=rand(1,N);y=zeros(K,N);z=zeros(K,N);y(1,:)=xs(k-1) & x< s(k);z(k,:)=a(k)*y(k,:); endr=sum(z,1); f=sum(y,’c’)/N;simul=r;endfunctionTestez le programme pour simuler les lancés d’un dé : N=600 ;d=ones(1,6) ;a=1 :6 ; et(*) traduisez le en sage.4. Qu’est ce que fait le pg. suivant :// marche(N,m) displays outcomes of the N-step random walkfunction [traj] = marche(N,m)// return the path S as a vectorclf; // clear the entire figuretime=(0:1:N); p=0.5 *(1+m * sqrt(N)); traj=zeros(time) ;traj=[0,cumsum(2*(rand(1,N)>p)-1)];// vector will contain the trajectory X(0),X(1/N)...,X(1)//for t=1:N//traj(t+1)=traj(t) + ( 2*grand(1,1,"bin",1,p)-1 ) ;//end ;plot2d2(time/N,traj/sqrt(N)); // plot the path xtitle("Scaled Randomwalk", "time (t)","X(t)")endfunction5. Bonheur du joueur pour une marche réflechie en 0. Considerez une marchealéatoire symétrique (p=q=1/2), commencée en X 0 = 0, réflechie en 0 et arrêtée autemps T B , B ∈ Na) Ecrivez une fonction qui, pour un nb. entier j donné, sort la position finale X nd’une marche commencée en X 0 = 0, reéflechie en 0 et qui avance/recule en fonctionde chiffres binaires de j : 1 avance, 0 recule.function [d] =dist(sce)d=0;while sce~=0if modulo(sce,2)==1 then d=d+1else if d > 0 then d=d-1endendsce=(sce-modulo(sce,2))/2endendfunctionb) simuler le nombre des pas T B = B + K B jusqu’au bonheur pour B = 1, un nombreN s = 100 de fois, en arrêtant chaque simulation après (ou avant) n = 21 pas. Comptezles simulations qui y arrivent après K B = k pas, oú k = 0, 1, ..., 20. Estimez P B (k) =P 0 [K B ≤ k, k = 0, ...20 et k B = E 0 K B .c) Nous allons recalculez maintenant ces quantités exactement, pour B = 1, 2.67

Ecrivez une fonction qui, pour une cible B et ”horizon” k donné, compte le nombren B (k) de toutes les marches reéflechies en 0 qui n’arrivent pas à la cible B en moinsde B + k pas, k = 0, 1, ..., 8, i.e. qui realisent l’evenement K B ≥ k + 1.Est ce qu’il y a des formule exactes pour P B (k), k B ?Ind : Verifiez pour n B (k) sur le site http ://oeis.org. En suite,k B =∞∑P B (j) =j=1∞∑P B (k + 1) =k=0∞∑k=0n B (k)2 B+k+1function [b]=compte(B,k) //compte le nombre de chemins qui passe par//le bonheur (B) en un nombre de pas inf\‘erieur ou \‘egal// B+k.b=0;for(sce=0:(2^(B+k)-1))j=0d=0;while ((sce~=0)&(d

ctr =sub2ind([m,m],n+1,n+1);% sub2ind(size, i,j) donne l’indice de (i,j) en v% i.e. m (i-1) + jAEW = spdiags(ones(m,1)*[pW pE],[-1 1],m,m);ANS = spdiags(ones(m,1)*[pS pN],[-1 1],m,m);//spdiags(cols, diags,size) donne la matrice avec cols positionnes comme diag//avec indices donn\’es par diags;A =kron(AEW,speye(m)) + kron(speye(m),ANS);//A est la matrice de Poisson pour la marche simple dudimensioneller = A(:,ctr); A(:,ctr)= 0; q = (speye(m^2)-A)\r;p = q(ctr);returnb) Calculer la probabilité de retour p(ϵ, n) en 0 pour une marche biaisé deuxdimensionellesur Z 2 , absorbée sur les bords du carré [−n, n] 2 , avec p N = p S = 1/4, etp E , p W = 1/4 ± ϵ.9. Bonheur dans le rectangle (problème de Folkmar Bornemann, Dirk Laurie, Stan Wagon,Jorg Waldvogel : The SIAM 100-Digit Challenge, A Study in High-Accuracy NumericalComputing). Considerez une marche aléatoire symétrique simple sur X(t) =(X 1 (t), X 2 (t)) ∈ hR 2 , (p 1 = p 2 = q 1 = q 2 = 1/4) commencée en X(0) = (0, 0) etarrêtée au temps T = min(T 1 , T B ), oùT B = {inf n : |X 1 (n)| > B}T 0 = {inf n : |X 2 (n)| = 1}i.e. l’espace des états est le rectangle E = |x 1 | ≤ B, |x 2 | ≤ 1}. Supposons h = 1/n, n ∈N (quand B/h /∈ N, T B est défini comme le temps quand la marche essaie de dépasser lescotés courts (verticales). Soit p B,h (x) = P x [T B < T 0 ], p B = lim h→0 p B,h (0, 0)[T B < T 0 ],i.e. la probabilité de sortir par les cotés verticales pour le mouvement Brownien, àpartir du centre.(a) Approximer p B,h par la méthode de simulation Monte-Carlo, en utilisant un sousprogrammequi simule une marche simple (sur les voisins) et qui teste apartenanceaux états d’arrêt (si interesses en graphiques, ecrivez aussi un programme qui tracetous les points de l’espace des états, en utilisant une couleur différente pour lesétats d’arrêt). Qu-est-ce que vous obtenez pour B = 1, B = √ 3, et B k = (k+1/k),pour k = 4, 5, 6, ... ?(b) Formuler un système linéaire qui donne l’inconnue p B,h et résolvez le système.(c) Essayer de trouver le comportement asymptotique de p Bk quand k → ∞.p(d) Est-ce qu’il existent des coefficients a, b tq lim b B→∞b log(B) + log(a) ?aB b= 1 ⇐⇒ log(p B ) ∼10. Q : SuperBonus : Ajouter maintenant un rectangle de dimensions 1, B dessus le premier,centré. Approximer p B par la méthode de Monte Carlo et par la méthode d’approximationitérative des fonctions harmoniques. Qu-est-ce que vous obtenez pour B = 1,B = √ 3, et B = (n + 1/n), pour n = 4, 5, 6, ... ? Quelle des trois méthodes ci-dessusest la plus facile a implementer pour un domaine deux-dimensionel arbitraire, et quelleméthode est plus exacte ?Conclusions :69

(a) La simulation Monte Carlo produit des resultats decentes. Mais, evidemment, ellene peut pas obtenir des resultats precises pour le pb. limite, car elle ne profitepas des deux traits particuliers cruciales : a) qu’il s’agit de resoudre l’équation deDirichlet ∆f(x) = 0 avec conditions frontière 0 et 1, b) et que le domaine est unrectangle. Ces traits particuliers raméne ici à une solution explicite à partir ducentre , implementable dans une ligne symbolique !b = 1; N[2ArcSin[Sqrt[ModularLambda[bI]]]/(P i), 40]. La reponse pour b = √ 3et 1/6 !(b) Mais, obtenir cette solution exacte dans un cas particulier a demandé beaucoupde travail ! La solution la plus raisonable est de revenir au pb. discret, et profiterque le pb. se reduit alors à un système linéaire. Un prg. Matlab est offert dansle livre, mais seulement pour les rectangles ! Il exploite le fait que la matrice dusystème linéaire en deux dimensions se decompose comme une somme Broneckerdes matrices des marches unidimensionelles correspondant au deux coordonnées(qui sont independantes).(c) Finalement, pour un domaine deux-dimensionel arbitraire, la simulation MonteCarlo et la méthode d’approximation itérative semblent assez raisonables.11. Considerez les marches simples cycliques bougeant à droite/gauche avec probas p, q >0, p + q = 1 sur un polygon (regulier) avec n sommets. Expliquez pourquoi pour n = 4ou 6, la limite lim n→∞ A n n’existe pas.Est-ce qu’il y une limite dans le cas des marches simples cycliques avec n prime ? Le caséchéant, trouvez cette limite (au moins pour la marche symmetrique avec p = q = 1/2).Que se passe-t-il si p + q < 1, et la marche peut rester sur place avec proba 1 − p − q ?12. Le comportement transient et asymptotique d’une marche cyclique, et les puissancesdes matrices circulantes. Considerez la matrice AA=matrix(3,3,[[1-b-c,b,c],[c,1-c-b,b],[b,c,1-c-b]])}Calculez A 2 , A n and lim n→∞ A n .13. (*) Ecrivez une fonction qui calcule l’exponentielle des matrices, symbolyquement -voirch 6.3, en utilisant eventuellement la fonctionfunction [x] = symbol_solve(A,B)//Solution of matrix equation A*X = B, for matrices with symb elements[nrA,ncA] = size(A) [nrB,ncB] = size(B) if nrA nrB thenerror("symbolic matrices A and B must have the same number of rows");abortend, A_aug = [A B] A_aug_up = trianfml(A_aug)A1=A_aug_up(1:nrA,1:ncA) B1 = A_aug_up(1:nrB,ncA+1:ncA+ncB)x=solve(A1,B1) endfunction3.3 SageSAGE : Symbolique algebra and geometry experimentation.Sage utilise = pour les affectations. Il utilise ==, =, pour les comparaisons,[...,...] pour les listes et (...,...) pour arguments.sage: a=sin(pi/3) sage: N(a,digits=30)70

Comme le montre cet exemple, certaines expressions mathématiques renvoient des valeursexactes’ plutôt que des approximations numériques. Pour obtenir une approximationnumérique, on utilise au choix la fonction n ou la méthode n (chacun de ces noms possèdele nom plus long numerical approx, la fonction N est identique à n). Celles-ci acceptent, enargument optionnel, prec, qui indique le nombre de bits de précisions requis, et digits, quiindique le nombre de décimales demandées ; par défaut, il y a 53 bits de précision.En Python, contrairement à des nombreux autres langages, les blocs de code ne sontpas délimités par des accolades ou des mots-clés de début et de fin de bloc. Au lieu decela, la structure des blocs est donnée par lindentation, qui doit être la même dans tout lebloc. Il ny a pas besoin de placer des points-virgules en fin de ligne ; une instruction est engénéral terminée par un passage à la ligne. En revanche, il est possible de placer plusieursinstructions sur la même ligne en les séparant par des points-virgules :sage : a = 5; b = a + 3; c = b 2 ;Pour continuer une instruction sur la ligne suivante, placez une barre oblique inverse enfin de ligne.Obtenir de l’aide : sage : random matrix ? sage : function ? sage : lambda ?Voir les tutoriels SAGE comme http ://www.sagemath.org/fr/html/tutorial/ les démoset l’aide pour d’autres concepts de base, et surtout les exemples http ://wiki.sagemath.org/interact/3.3.1 Algèbre et Analyse de base1. limites, differentiation, Taylorsage: var(’x’)sage: limit(sin(x)/x,x=0) 1sage: limit((1 + 3^(-x))^(x), x=infinity)sage: diff(sin(x^2), x, 4)sage: cos(x).taylor(x,0,10)sage: y=((x^2-1)/(x-1)-x)sage: y.rational_simplify()2. Pour calculer la dérivée partielle de x 2 + 17y 2 par rapport à x et y respectivement :sage: x, y = var(’x,y’) sage: f = x^2 + 17*y^2 sage: f.diff(x) 2*xsage: f.diff(y) 34*y3. Pour calculer la décomposition en éléments simples de1x 2 −1 :sage: f = 1/((1+x)*(x-1))sage: f.partial_fraction(x)1/2/(x - 1)-1/2/(x + 1)4. Pour calculer ∫ x sin(x 2 ) dx et ∫ 10xdx :x 2 +1sage: x = var(’x’) # create a symbolic variablesage: integral(x*sin(x^2), x)-1/2*cos(x^2)sage: integral(x/(x^2+1), x, 0, 1)1/2*log(2)sage: a=integrate(sqrt(x)*sqrt(1+x), x)sage: show(plot(a, 0, 40))5. On peut résoudre une équation en une variable en fonction des autres :71

sage: x, b, c = var(’x b c’) sage: solve([x^2 + b*x + c == 0],x)[x== -1/2*b - 1/2*sqrt(b^2 - 4*c), x == -1/2*b + 1/2*sqrt(b^2 -4*c)]6. Lexemple suivant utilise Sage pour la résolution dun système déquations non-linéaires.Dabord, on résout le système de faon symbolique :sage: var(’x y p q’) (x, y, p, q) sage: eq1 = p+q==9sage:eq2=q*y+p*x==-6 sage: eq3 = q*y^2+p*x^2==24sage:solve([eq1,eq2,eq3,p==1],p,q,x,y) [[p == 1, q == 8, x ==-4/3*sqrt(10) - 2/3, y == 1/6*sqrt(2)*sqrt(5) - 2/3],[p == 1, q == 8, x == 4/3*sqrt(10) - 2/3, y == -1/6*sqrt(2)*sqrt(5) - 2/3]]Pour une résolution numérique, on peut utiliser à la place :sage: solns = solve([eq1,eq2,eq3,p==1],p,q,x,y, solution_dict=True)sage: [[s[p].n(30), s[q].n(30), s[x].n(30), s[y].n(30)] for s insolns] [[1.0000000, 8.0000000, -4.8830369, -0.13962039],[1.0000000, 8.0000000, 3.5497035, -1.1937129]](La fonction n affiche une approximation numérique ; son argument indique le nombrede bits de précision.)7. sage: f(z) = z^5 + z - 1 + 1/zsage: complex_plot(f, (-3, 3),(-3,3))3.3.2 Pourquoi utiliser des logiciels symboliquesC’est sûr que Scilab/Matlab sont plus facile à maitriser, et plus transparents dans leurfonctionnement. Par contre, les symbolyques peuvent répondre à certaines de nos questions.Essayez les questions suggérées, et/où proposez d’autres (pour les questions aux quelles ilsne peuvent pas répondre, ces logiciels répétent la question).1. int(1/sqrt(x 2 + 2 ∗ x − 1), x)2. int(1/sqrt(x 3 + 2 ∗ x − 1), x)3. int(1/sqrt(x 4 + 2 ∗ x − 1), x)4. transformées de Laplace :sage: var(’s t’)sage: f = t^2*exp(t) - sin(t)sage: f.laplace(t,s) 2/(s - 1)^3 - 1/(s^2 + 1)5. équations différentielles ordinaires :6. var(’t’)y=function(’y’,t)DE=t*diff(y,t) + ydesolve(DE,[y(t),t])7. DE=diff(y,t,2) + t*diff(y,t)+ydesolve(DE,[y(t),t])8. DE=t*diff(y,t,2) + diff(y,t)+ydesolve(DE,[y(t),t])(maxima ne réussit pas, pendant que mathematica y arrive)72

9. var(’t’)y=function(’y’,t)DE=diff(y,t) + y^2desolve(DE,[y(t),t])Alternativementsage: t=var(’t’) # on definit une variable tsage: function(’x’,t) #on declare x fonction de cette variable x(t)sage: DE = lambda y:diff(y,t) + y - 1sage: desolve(DE(x(t)), [x(t),t]) #(c+e^t)*e^(-t)10. Types composés Pour trouver le type d’une variable, taper type(). SAGE utilisele langage de programmation Python, qui lui-même possède trois types de donnéescomposés qui vous seront utiles : 1 ) n-uplet : plusieurs expressions séparées par desvirgules, et entourées d’un couple de parenthèses (en général facultatives), par exemplev = (x,y,z) ; 2 ) liste : se note avec des crochets, par exemple : L = [1,4,2,8,5,7] ; Faitesafficher le type de v et de L. L’accès à un élément d’un n-uplet ou d’une liste sefait en précisant son indice (numéroté à partir de 0). Evaluez par exemple L[0]. Lenombre d’éléments de L s’obtient avec len(L). On peut modifier les éléments d’uneliste, mais pas ceux d’un n-uplet. Essayez par exemple : L[0] = -1 ; et vérifiez quela même instruction appliquée à v provoque une erreur. 3 ) dictionnaire : c’est unensemble de couples de la forme clef :valeur, par exemple : d = 4 : 8, 1 : 25. L’accèsà un élément se fait en précisant la clef entre crochet. Evaluez par exemple d[4]. Querenvoie la commande suivante ?var(’x,y’) ; z = sin(x^2/y)dico = {x : -1, y : 2}z(dico)(les dictionnaires sont une autre manière d’opérer des substitutions).11. Construction des listes Une liste d’entiers successifs s’obtient avec la fonction range.Testez les commandes suivantes :range(10) ; range(3,13) ; range(3,13,2)(la construction [a..b] est équivalente à range(a,b+1)). On peut aussi construire deslistes par compréhension :[1/n^2 for n in range(1,11)](ou bien des n-uplets) en paramètres : c’est par exemple le cas de solve ou de plot3d.12. Programmation Les définitions de fonctions en Sage sont introduites par la commandedef, et la liste des noms des paramètres est suivie de deux points. Faites attentionà l’indentation :def is_even(n):return n\%2 == 0def f(n):return len(str(factorial(10^n)))La conjecture de Collatz. Soit x ≥ 1 entier et la suite dèfinie par u 0 = x, et u n+1 =collatz(u n ). Est-il vrai qu’il existe une entier k tel que u k = 1 ? Autrement dit : est-ilvrai que pour tout x ¿= 1, il existe un entier k tel que collatz(k(x)) = 1 ? Ce problèmen’est toujours pas rèsolu.73

def collatz(n):if n%2==0:col=n/2else: col=(3*n+1)/2return(col)def U(x):while x>1:x=collatz(x)print ’x=’, xfor k in [1..20]:print ’collatz(’,k,’)=’, collatz(k)13. La paradoxe des anniversaires est un rèsultat combinatoire simple et amusant, qui joueun grand rle en algorithmique, en particulier dans le domaine de la cryptographie. SoitE un ensemble de cardinal n. On se donne un entier k et on tire k fois de suite, avecremise, et avec la probabilitè uniforme, un èlèment de E. On obtient ainsi une suite(x1 ; x2 ; : : : ; xk) d’èlèments de E. On se propose de calculer la probabilitè pk del’èvenement tous les xi sont distincts.(a) Quel est le cardinal de E k ?(b) Combien y a-t-il de k-uplets (x 1 ; x 2 ; :::; x k ) ∈ E k dont les composantes sont deuxdeux distinctes ?(c) En dèduire que la probabilitè p k est donnèe par p k = ∏ k−1i=1(1 − i/n).(d) Dèmontrez que si 23 personnes sont rèunies dans une salle la probabilitè que deuxau moins d’entre elles aient leur anniversaire le mme jour, est plus grande que1=2. 5.(e) Rèalisons l’expèrience suivante : on choisit un entier N (par exemple N = 365)puis on tire au hasard des valeurs x dans l’ensemble {1, 2, ...N}. L’expèriencese terminera la première fois que le tirage donnera une valeur dèja obtenue. Lasolution la plus naturelle est d’utiliser un dictionnaire, de nom rang. initialisèvide. Un entier x est une clef du dictionnaire avec rang[x] = k si et seulementsi la valeur x a ètè obtenue pour la première fois au k-ieme tirage. Cela conduitl’ècriture suivante :def Paradox(N) :rang = {} ; k = 1while true :x = randint(1,N)if rang.has_key(x) :print ’k=’, k, ’ donne’, x, ’ deja obt au rang’,rang[x]returnrang[x] = kk = k+114. En conclusion, les logiciels symbolyques comme SAGE sont très puissants, mais pourles tâches simples, Scilab, R, ... sont plus pratiques !3.3.3 Algèbre linéaire1. Matrices symboliques74

sage: m = matrix(SR,2, [-x,x,x,-x])sage: m.exp()sage: t = var(’t’)sage: A =matrix([[1,2],[3,4]])sage: B = (t*A).exp()sage: B(1)*A == A*B(1) Falsesage: (B(1)*A - A*B(1)).apply_map(lambda e: e.full_simplify())sage: Bprime =matrix(map(diff,B.list()))sage: B(1)*A == Bprime(1) False2. var(’x y’); n=6entries=[x^i-y^j+i+j for i in range(1,n+1) for j in range(1,n+1)]G =matrix(SR, n, entries);GG.det().simplify_full()3. sage: A = Matrix([[1,2,3],[3,2,1],[1,1,1]])sage: Y = vector([1,1,-4]) sage: Y*A sage: A*Ysage: X =A.solve\_right(Y)sage: A.detsage: B=A.inverseL’évaluation de A.solve right(Y) renvoie une matrice (ou un vecteur) X = A −1 Y . Unantislash (contre-oblique) peut être aussi employé à la place de solve rightsage: C=A \ Ysage: C- B Y ==0 sage: D= Y / A sage: C- B Y ==04. sage: var(’a’)sage:A=matrix([[a,1,0],[0,a,1],[0,0,a]])sage: $A^5$sage: A.exp()5. Augment et row-reduceR = A.augment(matrix(Y).transpose()) R.echelon_form()6. Calcul des valeurs propres et des vecteurs propres :sage: A.eigenvalues()sage: A.eigenvectors_right()renvoie (valeurs propres, [vecteurs propres], multiplicités algébriques). Les valeurspropres et vecteurs propres peuvent aussi être calculés avec Maxima.7. Créeons une matrice de taille 500 × 500 de nombres aléatoires réeles (RR) ; (pourRealDoublePrec, RDF).sage: m = random_matrix(RR,500)Il ne faut que quelques secondes à Sage pour calculer les valeurs propres de la matriceet en faire un graphique.sage: e= m.eigenvalues()sage: w = [(i, abs(e[i])) for i in range(len(e))]sage: show(points(w))Créons une matrice de taille 10 × 10 de nombres aléatoires Rationnels, et extraironsune sous matrice et une colonne :sage: m = random_matrix(QQ,50, num_bound=10, den_bound=10)sage:show(m[2:7,3:9])sage: m[2]75

8. Polynôme charactéristique :D = matrix(QQ,[[-2,1,-2,-4], [12,1,4,9], [6,5,-2,-4], [3,-4,5,10] ])show(D)var(’t’)S = D - t*identity_matrix(4)print Sprint p(t)=S.det()p(t)p.find_root(-10, 10)Aussi : q(t) = D.charpoly(’t’) q76

Chapitre 4Le processus de PoissonOn presente ici les processus de Poisson, qui sont characterisés par l’independence deleurs increments, par des valeurs entières, et par l’absence des points doubles. Des manièresurprenante, ces trois propriétés forcent les increments d’avoir la distribution de Poisson !4.1 La distribution de Poisson et exponentielle1. On considère deux variables aléatoires réelles X et Y indépendantes de loi de Poissonde paramètres λ > 0 et µ > 0 respectivement.(a) Quelle est la loi de Z = X + Y ? Indication : On peut utiliser la fonctiongénératrice des probabilitées p X (z) = Ez X , ou la fonction génératrice des momentsm X (s) = Ee sX = p X (e s ).(b) Trouver la distribution d’une somme de n variables Poisson indépendantes deparamètre λ i , i = 1, ..., n.(c) Pout tout entier n ≥ 0, déterminer la loi conditionelle de X sachant que Z =X + Y = n.(d) Déterminer E (X | X + Y ) .(e) Quelle est la distribution deS =X∑i=1B ioù B i sont des va aléatoires Bernoulli de paramètre p ?2. La loi exponentielle et la propriété de ”manque de mémoire”Soit X une variable aléatoire réelle positive. Montrez que X suit une loi exponentiellesi, et seulement si : ∀t, h ≥ 0 , P ([X − t ≥ h] | [X ≥ t]) = P [X ≥ h] . qu’on appelle lapropriété de manque de mémoire.77

Démonstration : Si X suit une loi exponentielle de paramètre λ > 0 alors pour toust, h ≥ 0 on a :P ([X ≥ t + h] ∩ [X ≥ t])P ([X ≥ t + h] | [X ≥ t]) =P [X ≥ t]P ([X ≥ t + h] | [X ≥ t]) = 1 − F X (t + h)1 − F X (t)= 1 − ( 1 − e −λ(t+h))1 − (1 − e −λt )=P [X ≥ t + h]P [X ≥ t](∗)= e −λh = 1 − F X (h) = P [X ≥ h]Réciproquement , on suppose que ∀t, h ≥ 0 , P ([X ≥ t + h] | [X ≥ t]) = P [X ≥ h]c’est-à-dire encore d’après (∗) :∀t, h ≥ 0 , P [X ≥ t + h] = P [X ≥ t] P [X ≥ h]d’où la fonction ¯F = ¯F X = 1 − F X vérifie l’équation fonctionnelle(∗∗) ¯F (t + h) = ¯F (t) ¯F (h) pour tous t, h ≥ 0En prenant logarithmes, on trouve que la fonction f(x) = log( ¯F (x) vérifie l’équationfonctionnelle(∗∗) f (t + h) = f (t) + f (h) pour tous t, h ≥ 0On utilise maintenant le résultat :Théorème 4.1.1 Une fonction monotone satisfaisant l’équation fonctionnelle(∗∗) f (t + h) = f (t) + f (h) pour tous t, h ≥ 0doit être linéaire, i.e.f(t) = tf(1)Démonstration : A partir de (∗∗) , on obtient que :( m)∀m, n ∈ N , f =n( ( )) m 1( )f = (f (1)) 1 m mn = (f (1))nnMontrons que f (1) ≠ 0 : si f (1) = 0 alors d’après ce qui précède f est nulle sur Q + ,or on sait que pour tout réel x > 0 , il existe r dans Q + tels que r ≤ x , comme f estdécroissante, on aura alors 0 ≤ f (x) ≤ f (r) = 0 donc f (x) = 0 et f = 0, ce qui estfaux.Par conséquent les fonctions f et x ↦→ (f (1)) x = e x ln f(1) coïncident sur Q + , comme cesfonctions sont continues sur R + x ln f(1), on peut alors affirmer que ∀x ≥ 0 , f (x) = eOn sait que lim x→+∞ f (x) = 1 − lim x→+∞ F X (x) = 0 donc ln f (1) < 0 et on peutécrire que∀x ≥ 0 , F X (x) = 1 − e −λx avec λ = − ln f (1) > 0et on en déduit que la loi de X est une loi exponentielle.78

4.2 Le processus de Poisson multidimensionelSoit λ une constante. On appelle champs (où processus) de Poisson homogène d’intensitéλ sur R d un ensemble des v.a. N(A) index’ees par les sous-ensembles A ⊂ R d tq :Rq :1. indépendance : si les sous-ensembles A 1 , ..., A k ⊂ R d sont disjoints, alors les variablesN(A 1 ), ..., N(A k ) sont indépendantes2. stationarité : la distribution des variables N(A + t), t ∈ R d ne dépend pas de t3. N(A) est une variable Poisson d’intensité c = λ m(A), où m(A) est la mesure deLebesgue.1. Un processus ayant les propriétés (1) et (2) s’appelle processus de Levy.2. En fait, la troisième condition peut être remplacée par une condition beaucoup plusfaible : N(A) ∈ N, et la probabilité de plus d’un point dans des ensembles petits estnégligeable, i.e. P [N(A) ≥ 2] = o(P [N(A) = 1]), quand m(A) → 0.Pour t ∈ R, on arrive au processus de Poisson uni-dimensionel. Dans ce cas, on étudie lesvariables aleatoires indexées par les intervalles A = [a, b], et on reserve le nom de processusde Poisson pour le processus N(t), t ∈ R, défini par N(t) := N([0, t]). Les variables N(A) =N(b) − N(a) sont appellées alors ”incréments” du processus N(t).dP1Définition 4.2.1 Un processus qui a des acroissements independants (PAI) et pour le quelil existe une constante λ > 0 tq pour tout t > 0, la variable aléatoire N t+s − N s suit une loide Poisson de paramètre λt :p k (t) := P{N t+s − N s = k} = (λt)kk!s’appelle processus de Poisson homogène.Remarque 4.2.1 Le nombre esperé d’arivées du processus de Poisson dans un interval delongueur t est : E[N(s + t) − N(s)] = λt.Exemple 4.2.1 Considèrons la distribution du nombre d’accidents de voiture dans une ville,par jour. a. Est ce-que ce nombre d’accidents pourra suivir approximativement une loi dePoisson ? b. Trouver i. la probabilité qu’il y ait au plus trois accidents un jour donné. ii.lenombre moyen d’accidents (M) pour lequel la probabilité d’avoir trois accidents ou plus unjour donné est < 0.05. (On exprimera cette probabilité en fonction de l ?inconnue M et onen déduira une équation qu’il faudra résoudre numériquement).Exercice 4.2.1 Des clients arrivent dans une banque selon un processus de Poisson N(t), t ∈R, de paramètre λ = 1.2 (l’unité de temps est la minute).1. Il arrive en moyenne combien de clients en 10 mn ?2. Donnez la loi de probabilité de N(2), le nombre de clients qui arrivent en deux minutes,et esquisser le graphique de p k = P [N(2) = k], pour k=0,1,2,3,4,5.3. Donnez la probabilité que personne n’arrive durant 2 mn, et après ça que 3 personnesarrivent dans les 4 mn suivantes.4. Donnez la probabilité q 3 que 3 personnes arrivent en 4 mn, vérifiez que q 3 = p 0 p 3 +p 1 p 2 + p 2 p 1 + p 3 p 0 , et expliquez pourquoi.79e −λt

Exercice 4.2.2 a) Montrez que la distribution du temps de la prochaine arrivée d’un processusde Poisson de paramètre λ est exponentielle a paramètre λ.b) Trouver la distribution du temps de la n-ième arrivée d’un processus de Poisson.Exemple d’application du processus de Poisson : La pêche ! On note X t le nombre de poissonspris par un pêcheur à la ligne dans l’intervalle de temps [0, t]. On fait les hypothèsessuivantes :(h1) il y a un très grand nombre de poissons, de façon à ce qu’une prise n’influe pas surla suite de la pêche(h2) l’appétit des poissons ne varie pas avec le temps.Le processus (X t ) t≥0peut alors être considéré comme un processus de Poisson, car :- (X t ) t≥0est bien un processus de comptage (il est assez clair qu’il est très peu probablede pêcher plusieurs poissons au même instant)- (X t ) t≥0est homogène d’après (h2)- (X t ) t≥0est un P.A.I. d’après (h1).Exercice 4.2.3 Des voitures passent sur une route selon un processus de Poisson de param.λ = 1/mn. a. Si 5% des voitures sont des Renault, montrer que le passage de ces voituressuit un processus de Poisson de param. 0.05. b. Sachant que 10 Renault sont passées en uneheure, quelle est l’espérance du nombre total de voitures passées durant cette heure ? c. Si 50voitures sont passées en une heure, quelle est la probabilité que cinq d’entre elles soient desRenault ?4.3 Processus de comptage et renouvellement en tempscontinuMotivation : La plupart des phénomènes aléatoires demandent une modélisation etétude au cours du temps, comme les processus de comptage (où de naissances) N t , t ∈ R + ,tq les :• appels arrivant dans un standard téléphonique• arrivées de clients à un guichet• survenue de pannes dans un parc de machines, ...Définition 4.3.1 Un processus (N t ) t∈R+est appelé processus de comptage s’il prend desvaleurs dans N et s’il vérifie les trois propriétés suivantes :(i) 0 ≤ s ≤ t ⇒ N s ≤ N t(ii) N s a des chemins ”cadlag”, i.e. continues à droite et avec des limites à gauche(iii) P [N s − N s− > 1] = 0Il s’agit donc des processus non décroissants et qui n’augmentent jamais avec plus d’uneunité, et qui modélisent la réalisation d’une suite d’événements aléatoires d’un même typeau cours du temps. Soit a i , i = 1, 2, ... les temps entre deux arrivés consecutives.Définition 4.3.2 Un processus de comptage pour le quel les temps entre deux arrivés consecutivessont des variables aleatoires i.i.d. s’appelle processus de renouvellement.Les temps de renouvellement (ou les temps de la n-iême arrivée) sont :A n =80n∑a i , n = 0, 1, 2, ...i=1

Il est facile de voir que le nombre d’arrivées avant le temps t, i.e. le processusest un processus de comptage.(N t ) t∈R+= sup{k : A k ≤ t}kThéorème 4.3.1 (admis) Le seul processus de renouvellement qui est aussi markovien estle processus de Poisson.4.4 Le processus de Poisson unidimensionelOn peut aussi définir le processus de Poisson homogène comme le processus de comptageassocié à un processus de renouvellements, au cas où les temps a i entre les arrivées sontexponentiels.dP2Définition 4.4.1 Soit a i , i = 1, 2, ... une suite des v.a. i.i.d., à distribution exponentiellede paramètre λ (”interarrivées”), et soit A n = ∑ ni=1 a i les temps de renouvellement. Onappelera processus de Poisson homogène (en partant de N 0 = 0) le processus qui compte lenombre d’arrivées pendant [0, t] :N [0,t] = N t = max{n ∈ N : A n ≤ t}Rq : La densité de A n est la densité Γ (n,λ) (x).Il existe plusieurs objets d’interêt associés à chaque processus de renouvellement :1. l’âge courant Z 1 (t) = t − A Nt2. le temps residuel courant Z 2 (t) = A Nt+1 − t3. le temps total courant Z(t) = Z 1 (t) + Z 2 (t) = A Nt +1 − A NtExercice 4.4.1 Soit N λ (t) un processus de renouvellement de Poisson.a) Quelle sont les probabilités P [Z 1 (t) = t], et P [Z 1 (t) ∈ [s, t], ∀s ≤ ∞ ? Trouver ladensité de Z 1 (t). Concluez que l’âge courant satisfait :{F Z1 (x) = 1 − e −λ pour x ≤ t etF Z1 (x) = 1 outrementb) Montrer que le temps residuel courant a une distribution exponentielle de paramètreλ.c) Calculez l’espérance du temps total courant ; et comparez la à l’espérance des tempsentre les arrivées λ.Les deux définitions (4.2.1), (4.4.1), sont équivalentes : voir les notes de Belisle. L’idéede la démonstration est presentée dans les exercices suivantes :Exercice 4.4.2 Soit (N t ) t≥0un processus défini par la Définition 4.4.1. Pour tout t > 0, lavariable aléatoire N t suit une loi de Poisson de paramètre λt, i.e.p k (t) = P{N t = k} = (λt)k e −λtk!81

Demo : a) Comme A k est la somme de k variables exponentielles, elle a la densitéGamma Γ(λ, k) donnée par : f Ak (t)dt = (λt)k−1(k−1)! e−λt λdt. On a aussi :f Ak (t)dt = P{A k−1 ≤ t, A k ≥ t, A k ≤ t + dt} = P{A k−1 ≤ t, A k ≥ t}λdt = P{N t = k − 1}λdtb) Calcul direct pour k = 0, 1, ...Exercice 4.4.3 Soit (N t ) t≥0un processus de Poisson unidimensionel d’intensité λ > 0,défini par la Définition 4.2.1. Montrez que les variables aléatoires suivantes : a 1 , quiréprésente le temps jusqu’à la première arrivée, et a 2 , qui réprésente le temps entre lesdeux premières arrivées, sont indépendantes et exponentielles de paramètre λ. Outrementdit, pour tout t 1 > 0, t 2 > 0,P{a 1 > t 1 , a 2 > t 2 } = e −λt 1e −λt 2Exercice 4.4.4 La distribution exponentielle et l’independance des intervales a i entre lesarrivées implique la propriété de Markov. Plus specifiquement, montrez par exemple que :Première méthode :P [N t+s ≥ k + 1|N t = k, N t−s1 = k, ∀s, s 1 > 0]P [N t+s ≥ k + 1|N t = k, N t−s1 = k] = P [a k+1 ≤ t + s − A k |A k ≤ t − s 1 , a k+1 > t − A k ]= P [t − A k < a k+1 ≤ t + s − A k , A k ≤ t − s 1 ]P [A k ≤ t − s 1 , a k+1 > t − A k ]∫ t−s1x=0=f A k(x)P [t + s − x ≥ a k+1 > t − x]dx∫ t−s1f x=0 A k(x)P [a k+1 > t − x]dx=∫ t−s1x=0 f A k(x)(e −λ(t−x) − e −λ(t+s−x) dx∫ t−s1x=0 f A k(x)e −λ(t−x) dx=∫ t−s1x=0 f A k(x)e −λ(t−x) (1 − e −λs )dx∫ t−s1x=0 f A k(x)e −λ(t−x) dx= 1 − e −λsRq : Pour d’autres distributions, cette miraculeuse simplification n’est pas vraie 1 .Par consequent, le processus de Poisson est le seul processus de comptage Markovien.Deuxiéme méthode (*). Pour démontrer des proprietées comme ci dessus, on utilise souventla propriété ”d’oubli de la durée de la dernière attente” de la loi exponentielle au tempst (voir Rappel ??).Ici on a :P [a k+1 ≤ t + s − A k |A k ≤ t − s 1 , a k+1 > t − A k ] = P [a 1 ≤ s|A 0 = 0] = 1 − e −λsEn conclusion, le processus de Poisson homogène unidimensionel de taux λ est un processusde comptage, où ”l’avancé du compteur” se fait après des temps exponentielles deparamètre λ, et qui a plusieurs propriétés remaquables, comme :– distribution exponentielle (donc ”sans mémoire”) de paramètre λ pour les intervalesa i entre les arrivées– la propriété de Markov1. La réponse depandra de t et de s 1 (on l’obtient en utilisant la formule ¯F ai (x) = e − ∫ x0 h(y) dy oùh(y) = f ai (x)/ ¯F ai (x) est le ”taux de termination= hazard rate” de a i ).82

– Le processsus de Poisson (N t ) t≥0est un processus à accroissements stationnaires etindépendants (A.S.I. en abrégé), c’est-à-dire les v.a. N Ii , i = 1, ..., n sont indépendantes,si les intervalles I i , i = 1, ..., n sont disjoints. En particulier,∀s, t ≥ 0 avec s ≤ t , N t − N s est indépendante de N u pour tout u ≤ s.– (N t ) t≥0est homogène, c’est-à-dire les increments N [s,s+t] = N s+t − N s ont une distributionindépendante du moment initial s :∀s, t > 0, ∀k ∈ N , P [N s+t − N s = k] = P [N t = k] not.= p k (t) .– (N t ) t≥0est un processus de Markov, et les probabilitées de transition satisfont P{N t =−µ µki + k|N 0 = i} = p k (t) = e , µ = λt.k!4.5 Le processus de Poisson comme limite des processusde BernoulliOn peut aborder l’étude du processus de Poisson unidimensionel en discretisant le temps :on partagera chaque unité de temps en n unités ”infinitesimales” de longueur h = 1/n, eten ignorant la possibilité des arrivés doubles. Ça remplace le processus d’arrivées en tempscontinu par un processus de Bernoulli (lancés d’une monnaie) en temps discret. En suite,en laissant n → ∞ ⇐⇒ h → 0, on arrive au processus de Poisson. Le fait que le nombre(binomial) d’arrivées des succes dans un processus de Bernoulli en temps discret convergevers processus de Poisson en temps continu est une consequence de l’exercice suivant :Exercice 4.5.1 Considerez un processus d’arrivées independantes dans des unités de tempsde longueur h = 1/n, avec la probabilite d’une arrive per unite de temps egale a λ.1. Calculez les moments translatés et les moments de la distribution de Poisson, en utilisantla fonction génératrice des probabilités.2. Montrez que la limite quand n → ∞ d’une distribution binomiale B(n, p) avec p = λ nest la distribution de Poisson avec espérance λ, directement et aussi en utilisant lafonction génératrice des probabilités ou des moments.3. Soit N n(i) i = 1, 2, ... les nombres d’intervalles separant les arrivées consecutives. Montrezque les temps T n(i) = N n(i)entre les arrivées consecutives convergent vers des distributionsexponentielles de paramètre λ, pour i = 1, 2.n4. Considerez un processus d’arrivées independantes, avec la probabilité d’une arrive perunite de temps (ou ”taux”) egale a λ. Trouver la distribution jointe des nombres d’arrivesdans deux unitées de temps consecutives, en subdivisant chaque unitée en n periodesd’observation et en prenant n → ∞.4.6 Le processus de Poisson composéDéfinition 4.6.1 Le processus de Poisson composé∑N tS t = Z i (4.1)83i=1

est une somme des variables i.i.d.(independantes et idéntiquement distribuées) Z i , avecdistribution cumulative et denotée par F (z) = F Z (z), M Z (θ) = ∫ ∞−∞ eθx dF (x), où N t est unprocessus de Poisson, independant de Z i .Outrement dit, il s’agit des marches aléatoires avec increments qui arrivent après destemps exponentiels. Ce processus est utilise par exemple pour modéliser le montant totaldes sinistres d’une compagnie d’assurances.Exercice 4.6.1 a) Calculer ES t , et Var S t pour un processus de Poisson composé.b) Calculer la fonction génératrice des moments.Solution : Considerons plus generalement des sommes aleatoires des variables identiquesS =N∑Z i ,i=1avec P [N = k] = p k . En conditionnant sur le nb. des sauts, on trouve :a)∞∑∫ES = p j (jEZ 1 ) = EZ 1 EN = λt xf Z (x)dxtrouve :j=0Si les Z i sont aussi independants, alors :Var S = E(S) 2 − (ES) 2 ==∞∑p j E(j=0j∑Z i ) 2 − (ENEZ 1 ) 2i=1∞∑p j (jE(Z1) 2 + j(j − 1)(EZ 1 ) 2 ) − (ENEZ 1 ) 2j=0= ENVar Z 1 + Var N(EZ 1 ) 2 = λtE(Z 2 1)b) Soit M Z (u) = Ee uZ = ∫ ∞0e ux f(x)dx la fonction génératrice de moments de Z i . OnEe uS t= Ee u(∑ N Tt=1 Zt) = ∑ ∞j=0 = e−λt (λt) j(Mj! Z (u)) j = e λt(MZ(u)−1) = e λt(∫ ∞0 (eux−1)f(x)dx) . Enconclusion,∫ ∞Ee uSt = e tκ(u) , κ(u) = λ(M Z (u) − 1) = λ( e ux f(x)dx − 1)−∞R : La linéarité en temps de la moyenne, variance et fonction génératrice des cumulantsdu processus de Poisson composé sont consequences, et characterisent la proprieté d’avoirdes acroissements/increments independants X [s,t] sur d’intervalles disjoints, et avec une distributionqui depend seulement de la longueur t − s de un intervalle [s, t] (et pas du pointinitiale s).Exercice 4.6.2 (Ross, Exercice 63) Une société d’assurance paie pour les déclarationsde sinistres dans le cadre des contrats d’assurance vie selon un processus de Poisson de tauxλ = 5 par semaine. Si le montant payé pour chaque contrat suit une distribution exponentiellede moyenne 2000, quelles sont la moyenne et la variance des montants payés par la sociétéd’assurances dans un intervalle de quatre semaines ?84

Exercice 4.6.3 (Ross, Exercice 66) L’arrivée des clients à un distributeur de billetssuit un processus de Poisson de taux 12 per hour. Le montant rétiré à chaque transactionest une variable aléatoire de moyenne 30 et écart-type 50 (un retrait négatif signifie que del’argent a été déposé). La machine est utilisée 15 heures par jour. Approximez la probabilitéque le montant total rétiré par jour soit infèrieur à 6000.Voir aussi Belisle, TD4Exercice 4.6.4 Déterminer la fonction de covarianced’un processus de Poisson composé X t , t ≥ 0.Cov [X t , X t+s ]4.7 La propriété de Markov du processus de PoissoncomposéSi Z i ont une distribution discrète p = (p i , i ∈ Z), il s’agit simplement des marchesaléatoires sur Z, mais en temps continu, ayant la propriété de Markov ! Les taux detransition sont λp i .Si en plus p i ≠ 0 ssi i est un voisin de l’origine, alors le processus (4.1) est une marchealéatoire simple, un cas particulier de processus de naissance et de mort.4.8 Exercices1. Un scribe doit copier n pages d’un manuscrit. Comme il est fatigué, il comet un nombretotal d’erreurs distribuées à distribution de Poisson P o(λ), qui peuvent se trouver surn’importe quelle page, avec des probabilités égales.a) Quelle est la probabilité que la première page ne contient pas des erreurs ?b) Quelle est l’espérance du nombre des pages contenant des erreurs ?2. (a) Quelle est la probabilité qu’un cercle de rayon r autour de l’origine ne contientaucun point d’un processus de Poisson deux-dimensionel de taux λ ? Autrementdit, calculez la fonction de ”survie” ou de ”distribution complementaire” ¯F D (r) =P{D > r}, où D est la distance de l’origine jusqu’au point le plus proche d’unprocessus de Poisson deux-dimensionel.(b) Calculez la fonction de densité f D (r).(c) Calculez le mode de la fonction de densité.(d) Calculez par parties l’integrale ∫ ∞0r 2 e − r2ED = 12 √ (l’integrale ∫ ∞e − r2 2 dr = √ π/2 = ∫ ∞λ 0 02σ 2 dr et montrez que l’espérance est∫ ∞r 2 /2 e−s dsdr peut-être calculépar le théorème de Fubini)3. Le temps jusqu’à la première ”arrivée non-decouragée” et la dernière ”arrivéedecouragée”. Soit N une variable géométrique, à distribution P{N = k} =(1 − p)p k−1 , k = 1, ...,, soit N 0 = N − 1 la variable géométrique à distributionP{N = k} = (1 − p)p k , k = 0, 1, ..., et soit T i , i = 1, 2, ... des variables aleatoiresi.i.d. exponentielles à paramètre µ. Soit T = ∑ Ni=1 T i le temps jusqu’à la première”arrivée non-decouragée”, et soit W = ∑ N 0i=1 T i le temps jusqu’à la ”dernière arrivéedecouragée”.85

(a) Trouvez la fonction génératrice des moments m T1 (s) = Ee sT 1de T 1 ,(b) Trouvez les fonction génératrices des moments m T de T = ∑ Ni=1 T i et m W deW = ∑ N 0i=1 T i.(c) Quelle sont les distributions des variable aleatoires T, W ?4. a) Montrez que si les variables {a i , i = 1, ..., n} ont des distributions exponentiellesindependantes à paramètres λ i , i = 1, ..., n, alors la variable a = min{a i , i = 1, ..., n} aune distribution exponentielle de paramètre λ = ∑ i λ i. b) Trouvez la distribution dela variable I qui donne l’index qui realise le minimum. c) Qu-est-ce qu’on obtient ensuperposant n processus de Poisson à paramètres λ i , i = 1, ..., n ?5. Montrez que la densité du temps de la n-ième arrivée dans un processus de Poisson ala densitéf Tn (x)dx = (λx)n−1(n − 1)! e−λx λdx6. Soit X t un processus de Poisson de taux λ, les point du quel sont coloriés en Kcouleurs, independamment avec des probabilités p 1 , ..., p K , donnant naissance ainsià K processus de comptage X 1 (t), ..., X K (t). Montrez que X 1 (t), ..., X K (t) sont desprocessus de Poisson independants, avec taux λp 1 , ..., λp K .Solutions :1. a) Les nombres des erreurs N i sur chaque page i sont des variable de Poisson ”coloriée”avec probabilité 1/n, et donc N i sont des variables de Poisson de taux λ/n(independantes). La probabilité que N i ≥ 1 est 1 − e −λ/n .b) En decomposant la variable N comme somme des indicatrices, l’espérance deN = ∑ ni=1 N i est n(1 − e −λ/n ) (en fait, N a une distribution binomiale, car N i sontindependants, par le théorème de coloriage des variables Poisson).2. a) ¯F (r) = e −λπr2b) f D (r) = 2λπre −λπr2 . c)Le mode de la densité satisfait (1 − 2λπr 2 )e −λr2 = 0, doncr = √ 12λπ.d) ED = 2λ ∫ ∞0r 2 e −λπr2En posant λπ = 12σ 2 ⇐⇒ σ = 1 √2λπ, on s’aperçoit que notre integrale est de la forme∫ ∞0r 2 e − r22σ 2 dr =√2πσ3car elle represente une demi de la variance de la distribution Gaussienne. (On peut aussiretrouver ce resultat en utilisant l’integration par parties, et en calculant l’integrale∫ ∞e − r2 2 dr = √ π/2 = ∫ ∞ ∫ ∞0 0 r 2 /2 e−s dsdr par le théorème de Fubini.)On trouve finalement que l’espérance est√2πED = 2λ4λ √ 2λπ = 12 √ λ3. (a) m T1 (s) = µµ−s = 11−s/µ862

(b) m T (s) = ∑ ∞n=1 (1 − p)pn−1 ( µµ−s )n = (1 − p) µ1µ−s 1−p µµ−s= (1−p)µ(1−p)µ−s(c) T est donc une v.a. exponentielle à paramètre (1 − p)µ, qui est précisement letaux des points ”acceptés” du processus de Poisson ”aminci” des arrivées nondecouragées.4. c) Il s’agît d’un processus de comptage à interarrivées exponentielles, donc d’unprocessus de Poisson, a paramètre λ = ∑ i λ i.87

Chapitre 5Les processus markoviens de saut, en tempConsidérons maintenant des processus X t en temps continu, sur un espace d’états E finiou dénombrable, appellés aussi processus de sauts. On note E = {e i ; i ∈ I} où I ⊂ N,et on munit E de la tribu P (E), l’ensemble des parties de E. Souvent, on identifie l’espaced’états E fini avec l’ensemble des indices I (i.e on appelle les états par leur indice).Nous aimerions enrichir le modele des chaînes de Markov, pour qu’il puisse accomoderla possibilité des temps de transition aleatoires t (i) d’un état à l’autre, suivant une matricedes distributions inconnuesF x,y (t) := P [t (1) ≤ t|X(0) = x, X(t (1)+ ) = y](qu’il faudra estimer).Un tel processus défini par une matrice stochastique des probabilités de transition P estune matrice des distributions F (t) s’appelle semi-markovien. Nous etudierons surtout le casparticulier F x,y (t) = 1 − e −µ(x)t , ∀y, qui satisfait la propriété de Markov en temps continu.5.1 La proprietè de MarkovDéfinition 5.1.1 -Proprietè de MarkovUn processus X = (X t ) t≥0en temps continu et a éspace d’états E a la proprietè deMarkov si, et seulement si ses probabilités conditionelles ne depend pas du passé que par lepassé imediat, i.e.∀0 ≤ t 0 < t 1 < · · · < t k < t , t i ∈ R,et∀e i0 , e i1 , ..., e ik , e i ∈ EP ([X t = e i ] | [X t0 = e i0 , ..., X tk = e ik ]) = P ([X t = e i ] | [X tk = e ik ])Un processus ayant la proprietè de Markov s’apelle processus de Markov.Interprétation de la propriété de Markov : si on considère que le processus est indicé parle temps, cette propriété traduit le fait que le présent ne dépend du passé qu’à travers lepassé immédiat.Exemples : 2.3 et 2.1 de Ruegg, et les exemples de Belisle.Définition 5.1.2 Matrice des transitionsPour tous 0 ≤ s ≤ t, pour tous i, j dans I, et pour chaque processus de Markov, ondéfinit les probabilités de transition par :p ij (s, t) = P ([X t = e j ] | [X s = e i ]) .88

Définition 5.1.3 Homogeneité des transitionsUn processus est dit homogène si, et seulement si :∀ i, j ∈ I , ∀ 0 ≤ s ≤ t , p ij (s, t) = p ij (0, t − s) .On note alors p ij (s, t)= p ij (t − s), et la matrice p ij (t) est appellée matrice de transitionaprès temps t.Hypothèse de travail : (H1) On ne considérera ici que des processus homogènes.Un processus de Markov homogène est uniquement specifié par ses des probabilités detransition aprés temps t. Pour tout t ≥ 0, on note parP (t) = (p ij (t)) i,j∈Ila matrice des probabilités de transition aprés temps t.L’exemple le plus simple des processus de Markov homogènes est fourni par les ”chaînesde Markov” en temps discret et à espace d’états fini ou dénombrable. Le prochaîne exempleen ordre de complexité est celui de processus de sauts en temps continu.En principe, toute la discussion précédente s’étend au processsus beaucoup plus compliqués,sur des espace d’états E arbitraires, en remplaçant comme d’habitude les événements”ponctuels” ci dessus par des événements mesurables arbitraires, ...5.2 Les semigroupes de Markov homogènes ; calcul del’exponentielle des operateursEn temps discret, a cause de l’équation de Chapman-Kolmogorov, les matrice des probabilitésde transition aprés temps n avait une structure de semigroup P n , qui était engendrépar la matrice P de transition aprés temps 1. On retrouve la même structure dans le cascontinu :Théorème 5.2.1 Soit (X t ) t≥0un processus Markovien homogène, à temps continu t ∈ R + .Alors, les operateurs de transition (P t ) t≥0forment un semi-groupe stochastique, c’est-à-dire :1. P 0 = I d2. ∀s, t ≥ 0 ,P t+s = P t P s(équations de Chapman-Kolmogorov)3. ∀t ∑ ≥ 0 , P t est une matrice stochastique (i.e. ∀i, j ∈ I , p ij (t) ≥ 0 et ∀i ∈ I,j∈I p ij (t) = 1 ).4. {′P t = P t G (équation Kolmogorov avant)P ′t = G P t (équation Kolmogorov arrière ou rétrograde)où G est le générateur.5. Pour tout t ≥ 0,P t = e tG ,et la transformée de Laplace/résolvente est ∫ ∞0e −st P t dt = (sI d −G) −1 , pour tout s > 0.89

tcDéfinition 5.2.1 Une famille des operateurs satisfaisant les propriétés (1) et (2) du théorème5.2.1 est appelée semi-groupe. Une famille satisfaisant aussi la propriété (3) est appeléesemi-groupe stochastique.Le dernier point fournit une réprésentation des semigroupes de matrices stochastiques entemps continu, satisfaisant P (t + s) = P (t)P (s), ∀t, s ∈ R + . Rappelons que dans le cas dessemigroupes discrètes de matrices stochastique indicé par t ∈ N, ça se faisait par la formuleP (t) = [P (1)] n .Pour les processus de Markov en temps continu, il n’existe plus un ”temps minimal”d’observation (comme le t = 1 du cas discrète) ; il est donc moins evident comment générerle semi-groupe des matrices de transition. La réprésentation desiréeP (t) = e tGfait maintenant intervenir la matrice G, appellée générateur, qui est liée á la matrice detransition infinitesimale P h , avec h → 0 1 .Rémarques :1. Le cas le plus simple est celui des processus de sauts, i.e. avec des espaces détats Efinis ou dénombrables, dans quel cas P t , G sont des matrices. Nous traiterons surtoutce cas (si possible, car les processus de Levy, qui sont parmi les outils de modélisationles plus utiles, font défaut !)2. Dans le cas dénombrable, il faudra ajouter des conditions qui assurent que les sommes,intégrales, etc., soient bien définis. Une telle condition est sup i∈I (−G ii ) < +∞.3. Comme les matrices P t = e tG doivent être stochastiques pour chaque t, il découle quela partie réele des valeurs propres de G doit etre nonpositive.4. Pour le cas des espaces d’états finies, les equations differentielles de Kolmogorov pourP t calculent la fonction exponentielle matrice e tG , et donc admettent toujours dessolutions explicites en fonction des valeurs/vecteurs propres de G. En plus, la fonctionexponentielle de matrice est mise en oeuvre numeriquement dans toutes les logiciellesmodernes. Par contre, pour les espace d’états dénombrables, le calcul explicit de P tdevient difficile, même pour le cas le plus simple de la file M/M/1 2 . Ils restent toujoursles approches numériques, et il y en a beaucoup, comme pour temoigner sur la difficultédu problème.5. Pendant que le calcul du semigroupe suppose la connaissance du spectrum, celui de laresolvente ne le demande pas. Par conséquant, une méthode possible pour le calcul dusemigroupe est de comencer par la resolvente, et ensuite l’inverser numériquement (ouanalytiquement parfois, par exemple en utilisant la decomposition en fractions simples,dans le cas rationnel).1. Pour le calcul de l’exponentielle d’une matrice, on pourrait utiliser la decomposition de Jordan, laresolution du systeme differentiel : M t = e tG ⇐⇒ M 0 = I et M ′ (t) = G M(t), ou la serie de Taylor. Lameilleure approche est d’approximer la fonction exponentielle par le polynôme qui l’interpole dans les valeurspropres de G (au lieu d’utiliser Taylor, qui interpole en 0) ; appliquée à la matrice G, cette approximationest exacte !2. Dans ce cas, la transformé de Laplace de P t est explicite, et on peut l’inverser, en arrivant a descombinaisons des fonctions Bessel.90

Exercice 5.2.1 Calculer la puissance k, la ”resolvente” (sI −A) −1 , ainsi que l’exponentielleP t = e tA , pour une matrice de taille n×n, (par exemple n = 3) A = µI+λU, où U i,j = 1 j=i+1 .En deduire les formules pour un bloque de Jordan (λ = 1) et la matrice génératrice G d’unprocessus de Poisson absorbé en n − 1.Exercice 5.2.2 (*) Calculer la puissance k, la ”resolvente” (sI −A) −1 , ainsi que l’exponentielleP t = e tA , pour une matrice de taille n × n, (par exemple n = 3) A = diag(−λ i ) + U,où U i,j = λ i 1 j=i+1 , pour n = 2. En deduire la formule de la distribution cumulative complementaire(1, 0)e tA 1 de la distribution ”hypoexponentielle”.Exercice 5.2.3 Calculer l’exponentielle ainsi que la resolvente pour une matrice de rang 1,A = bβ,où b, β sont respectivement des vecteurs colonne et ligne de taille n.Nous supposerons toujours la continuité du semigroupe en 0 :lim P t→I d (5.1)t→0 +ou I d denote l’identité, dans quel cas le semi-groupe (P t ) t≥0est dit standard.Comme les propriétés (1) et (2) du théorème 5.2.1 sont celles d’une fonction exponentielle,on peut s’attendre par analogie avec le cas scalaire que P t = e tG où le ”générateur” G est lamatrice donnée par :G = dP t P t − I d(0) = limdt t→0 + t(5.2)(dérivée de t ↦→ P t en 0).Il est donc naturel de tourner vers la matrice ”des taux”, définie par la rélationP (t) ≈ I − tG, pour t → 0 + ⇐⇒ G := limt→0P (t) − It= P ′ (0)Définition 5.2.2 On appelle générateur d’un semigroupe de Markov sur un espace d’étatsdéf P t − I dfini où denombrable la matrice G = (g ij ) i,i∈I= lim t→0 + .tPlus précisement, la matrice G de ”taux de transition” infinitesimales, ou ”générateur”,en partant d’un état initial arbitraire X 0 = i, est définie par :{g ij−g ii= lim P ij(t)t→0 +t= lim 1−P ii(t)t→0 +tquand i ≠ jquand i = j⇐⇒{pij (t) = g ij t + o(t)) quand i ≠ jp ii (t) = 1 + g ii t + o(t)Ainsi, pour j ≠ i alors g ij = lim t→0 +p ij (t)tl’état e j , et on a g ij ≥ 0 si i ≠ j. Pour j = i, −g ii = lim t→0 +≥ 0 est le taux de passage de l’état e i à1 − p ii (t)tsortie de l’état e i , pour t → 0.Note : En utilisant P t 1 = 1, on vérifie que G1 = 0, i.e. g i,i = − ∑ j≠i g i,j.91≥ 0 est le taux de

Définition 5.2.3 Une matrice G satisfaisant1. g ij ≥ 0 si i ≠ j, g ii ≤ 0 et2. g i,i + ∑ j≠i g i,j = 0sera appellée matrice génératrice ou générateur de la chaîne de Markov.Une matrice G satisfaisant 1. et g i,i + ∑ j≠i g i,j ≤ 0 sera appellée sous-génératrice.Exercice 5.2.4 Pour une matrice (sous)stochastique arbitraire, la matrice G = P − I estune matrice (sous) génératrice.Remarque 5.2.1 Il est facile de verifier que la matrice G = P − I a les mêmes vecteurspropres comme P , et que ses valeurs propres sont translatées par −1.Les systèmes de Dirichlet –voir ci dessus– concernant les chaînes de Markov en tempsdiscret peuvent être formulées egalement en termes de P ou de G, mais l’avantage de ladernière formulation et qu’elle generalise pour le temps continu.Chaque matrice génératrice G sur un espace d’états fini défini un processus de Markovde sauts X t (qui choisi son prochaine état j ≠ i à partir de X t = i avec probabilitésproportionelles à g i,j , j ≠ i, aprés un temps exponentiel de paramètre λ i = ∑ j≠i g i,j), avecsemigroupe e tG .5.3 Premier exemple : le processus de PoissonExemple 5.3.1 Le processus de Poisson peut être introduit à partir de sa matrice génératrice :⎛⎞−λ λ 0 · · ·0 −λ λ 00 0 −λ λ 0G = ⎜⎝ .. 0 .. . .. . ⎟ .. ⎠. .. . .. . ..Un calcul de l’exponentielle P t = e tG (matrice de transitions) produit une structuretriangulaire superieure{P t (i, j) =p t (j − i) si j ≥ i,0 si j < ii, j ∈ N,où p t (k) = P [N λ (t) = k] = e −λt (λt) ksont les probabilités du processus de Poisson en començantde 0 (la première ligne).k!Rq : La propriété de semigroupe P t+s = P t P s , ∀s, t ∈ R + est équivalente ici au faitque p t (k) satisfont :n∑p t+s (n) = p s (k)p t (n − k)k=0Exercice 5.3.1 Montrer que le nb. esperé d’arrivée en [0, t] est λt, ce qui montre que λ estle nb. esperé d’arrivée per unité de temps.Exercice 5.3.2 Montrer ( que)la pb. de se retrouver au point de depart au temps t pour leprocessus avec G = −1 11 −1 est 1+e−2t .292

Le processus de Poisson est a la fois un des exemples les plus simples d’un processus desauts Markovien, et aussi un instrument théorique de démonstrations, grace a la possibilitéde construire explicitement toutes les processus de sauts Markovien en partant des processusde Poisson ! C’est aussi un des rares cas où les probabilités de transition ont des formulesexplicites.Exercice 5.3.3 Montrer que pour un processus de Poisson et pour h → 0 on a :{ λh + o(h) si k = 1p k (h) = o(h) si k ≥ 21 − λh + o(h) si k = 05.4 Processus de naissance et de mort, marches aléatoireset files d’attenteLa façon la plus simple de definir de processus de Markov en temps continu est à traversleurs taux de transition, analogues au taux λ du processus de Poisson.Les processus Markoviens de saut les plus simples sont les processus ”de naissance et demort”, qui n’augmente et ne diminue jamais avec plus d’une unité, et qui se deplace sur Ntoujours aux voisins, ”sans sauter position”. La notation traditionelle des taux de naissance(ou de croissance) est λ i et celle des taux de mort (ou de décroissance) µ i .Définition 5.4.1 On appelle processus de naissance et mort une chaîne de Markov homogèneà temps continu (X t ) t≥0, à valeurs dans N telle que :∀i, j ∈ N , ∀h > 0 ,⎧⎪⎨ λ i h + o (h) si j = i + 1 3P ij (h) = P ([X t+h = j] µid [X t = i]) =µ i h + o (h) si j = i − 1⎪⎩1 − (λ i + µ i ) h + o (h) si j = io (h) sinonAutrement dit, le générateur d’un processus de naissance et mort de taux de naissanceλ i , i ∈ N et de taux de mort µ i , i ∈ N est donné par une matrice tridiagonale :⎛⎞−λ 0 λ 0 0 · · ·µ 1 − (λ 1 + µ 1 ) λ 1 0G =0 µ 2 − (λ 2 + µ 2 ) λ 2 0⎜.⎝ . 0.. . .. ⎟⎠. .. . .. . ..• Si tous les λ i sont nuls, on parle de processus de mort.• Si tous les µ i sont nuls, on parle de processus de naissance.Exemple : processus de Poisson d’intensité λ (∀i ∈ N , λ i = λ).Le cas des taux constants λ i = λ, µ i = µ, ∀i ∈ Z donne des marches aléatoires X t entemps continu (analogues des marches aléatoires simples discrètes), qui sont plus faciles aanalyser. En fait, ces processus peuvent être decomposés comme une sommeX t = N 1,λ (t) − N 2,µ (t)93

où les deux composantes sont indepedantes, ce qui implique une formule explicite de convolutionpour les probabilités de transitionP 0 [X t = k] =∞∑P [N 1,λ (t) = k + l] + P [N 2,µ (t) = l]l=0Dans les applications on rencontre surtout le cas oú X t ∈ {0, 1, 2, ..}, un exemple proeminentétant le nombre de clients qui attendent leur service à un guichet, ou dans un centred’appels (comme ces processus sont à valeurs dans N, on a forcément µ 0 = 0). Les modèlesMarkoviens les plus étudiés sont le files d’attente M(λ)/M(c)/s/s+K, où s répresente lenombre des serveurs, K ∈ N est le nb des places d’attente disponibles, et la lettre M (pourMarkov) indique une distribution exponentielle de temps de service et entre les arrivées. Lestaux de transition sont g i,i+1 = λ i , g i,i−1 = µ i = min(sµ, iµ).Exemple 5.4.1 La matrice génératrice de la file M/M/2 est :⎛⎞−λ λ 0 · · ·µ −λ − µ λ 00 2µ −λ − 2µ λ 0G = ⎜⎟⎝ . 0 2µ −λ − 2µ λ ⎠. .. . .. . .. . ..Exemple 5.4.2 La matrice génératrice de la file M/M/3 est :⎛⎞−λ λ 0 · · ·µ −λ − µ λ 00 2µ −λ − 2µ λ 0G = ⎜⎟⎝ . 0 3µ −λ − 3µ λ ⎠. .. . .. . .. . ..Les distributions stationnaires des files d’attente sont assez faciles a calculer, mais lesprobabilités de transition sont (relativement) simple seulement dans les cas s = ∞ et s = 1.Un autre domaine ou on utilise les processus de naissance et mort sont les modèles depopulation, qui modélisent l’effectif X t d’une population à l’instant t. Par exemple, pourmodéliser une croissance/decroissane linéaires avec (ou sans) immigration et avec (ou sans)émigration, on utilisera :→ ∀i ∈ N, λ i = λi + a avec λ > 0 et a > 0 (processus avec immigration) ou a = 0(processus sans immigration)→ ∀i ∈ N ∗ , µ i = µi + b avec µ > 0 et b > 0 (processus avec émigration) ou b = 0(processus sans émigration).5.5 Les files d’attenteLe problème est le suivant : des ”clients” arrivent en suivant une certaine loi de probabilitépour obtenir un ”service” dont la durée est elle-même modélisée par une autre loi deprobabilité. La file dispose d’un nombre 1 ≤ s ≤ ∞ des ”serveurs” et de K places supplementairesd’attente (ainsi,la capacité totale du système est s + K).94

Dans cette application, la modélisation stochastique est plus aisée en temps continu.Soit N t ∈ N, t ∈ R le nombre total des clients dans le système (en attente ou en service) àl’instant t. Pour une file d’attente, les seuls transitions possibles de N t sont l’ajout/départd’un client.Notation de Kendall. Kendall apelle un processus N t ∈ N, t ∈ R ”file M/M/s/K” siN t est un processus de naissance et mort, et- il y a s serveurs- la taille de la salle d’attente est de K places.- les temps A i entre les arrivée des clients et les temps de service B i suivent des lois exponentielles(traditionellement, le taux d’arrivée/départ sont denoté par λ, µ) et sont independantes,le M étant une abbreviation de Markovien. Si les temps d’arrivée sont simplementindependantes, on remplace le M par G(énérale), et s’ils sont de type phase, on remplace leM par Ph(ase).La file d’attente M/M/1 a, en plus par rapport au processus de Poisson, aussi des”morts”, le taux des quelles est traditionellement denoté par µ. Ainsi, elle est characterisépar les taux infinitesimales g i,i+i = λ, g i,i−i = µ, g 0 = λ, g i = λ + µ et sa matrice génératriceest :⎛G =⎜⎝⎞−λ λ 0 · · ·µ − (λ + µ) λ 00 µ − (λ + µ) λ 0.. 0 .. . .. . .. ⎟⎠. .. . .. . ..Autres exemples :1) Pour la file M/M/1/K on a λ i = λ, i = 0, 1, ..., K, λ K+1 = 0.2) Pour la file M/M/s/K, on a µ i = iµ, i = 1, ..., s, λ i = λ, i = 0, 1, ..., s+K −1, λ s+K = 0Rémarque : Dans tous ces cas, le générateur est donné par une matrice tridiagonale”presque” Toeplitz, i.e. avec diagonales constantes, au moins à une certaine distance desfrontières.5.6 Distribution stationnaire et comportement asymptotiqueProposition 5.6.1 Un processus de naissance et mort de taux de naissance λ i , i ∈ N et detaux de mort µ i , i ∈ N est irréductible si, et seulement si :∀i ∈ N , λ i ≠ 0 et ∀i ∈ N ∗ , µ i ≠ 0.Démonstration : si ∀i ∈ N , λ i ≠ 0 et ∀i ∈ N ∗ , µ i ≠ 0 alors toutes les transitions sontpossibles. Par contre, si l’un des réels λ i0 ou µ i0 est nul, une des transitions devient impossible,et on voit que la reunion des classes de communication contenant des elements a gauche de i 0et celle contenant des elements a droite de i 0 ne peuvent pas communiquer. Alors, l’ensembledes classes de communication a au moins deux elements.La distribution stationnaire est une des charactéristiques les plus faciles à calculer desprocessus de Markov.95

Définition 5.6.1 On dit qu’un vecteur π = (π i ) i∈Iest une distribution stationnaire si, etseulement si(1) π est un vecteur de probabilité, c’est-à-dire :∀i ∈ I , π i ≥ 0 et ∑ i∈Iπ i = 1(2) ∀t ≥ 0 , π = πP t .Théorème 5.6.1 (admis) Soit (X t ) t≥0un processus Markovien de sauts en temps continu,homogène, de semi-groupe P t = e tG ”regulier” (qui saute p.s. un nb. fini des fois en chaqueinterval fini).1. Pour tout t ≥ 0, il y a équivalence entre :(1) ∀t ≥ 0 , π = πP t (π vecteur propre de P t a gauche pour la valeur propre 1)(2) πG = 0 (π vecteur propre de G a gauche pour la valeur propre 0).2. Si le semigroupe est aussi ”mélangeant”, i.e. si :∃t > 0 tel que p ij (t) > 0, ∀i, j ∈ I(ça implique la nonperiodicité et irréducibilité)(P t ) t≥0, alors(3) Si π est une distribution stationnaire alors (le cas érgodique) on a :∀i, j ∈ I , lim t→+∞ p ij (t) = π j(4) S’il n’existe pas de distribution stationnaire alors : ∀i, j ∈ I , lim t→+∞ p ij (t) = 0Démonstration : 1) : πG = 0 ⇒ ∀n ≥ 1 , πG n = 0 donc ∀t ≥ 0 π ∑ t nn≥1 n! Gn = 0 d’où :π e tG = πP t = πRéciproquement, supposons que ∀t ≥ 0 , πP t = π. On a alors : ∀t ≥ 0 , πP t = πe tG = π.En dérivant par rapport à t , on obtient : πGe tG = 0 et en prenant t = 0, on en déduit queπG = 0 d’où πG = 0.Remarques : 1) Pour un espace d’états fini, l’existence des solutions du système linéaireπ G = 0, ou π est un vecteur des probabilités, est toujours garantie par le théorème dePerron-Frobenius.2) Le deuxième cas ci-dessus (qui n’aparaissait pas pour les espace d’états finis) arrivetoujours si EZ i > 0 en temps discret et E 0 ˜Xt > 0 en temps continu, par la loi des grandsnombres. Ce cas implique une ”fuite” du processus vers l’infini.Reciproquement, pour pour un espace d’états infini, l’existance des solutions nonnulles(cas 1. ci-dessus) est assurée si le système ”ne s’enfuit pas vers ∞”.3) Les équations de stationarité dans la forme∑∑π j G j,i = −π i G i,i = π i G i,j (5.3)j≠iont l’interpretation d’une egalité entre le ”flux entrant” en i et le ”flux sortant” de i, où”flux” designe le taux de passage en/de i.4) Parfois, un système plus simple ”déquilibre partiel/local/ réversible”π i G i,j = π j G j,i96j≠i

est satisfait. Ces équations ont l’interpretation d’une egalité entre le flux de i a j et celui dej a i. Evidemment, ce système implique (5.3) et donc l’equilibre global πG = 0.Le système d’équilibre local est beaucoup plus simple à résoudre (quand il admet dessolutions). Pour les processus de naissance et mort par exemple, le calcul de la distributionstationnaire se reduit toujours aux équations déquilibre local :π n λ n = π n+1 µ n+1 ⇐⇒ π n+1 = π n ρ n+1 ⇐⇒ π n = π 0n∏Exercice 5.6.1 Calculez la distribution stationnaire du nombre de clients dans les files suivantes.1. M/M/1 (R : π n = (1 − ρ)ρ n , ρ < 1)−ρ ρn2. M/M/∞ (R : π n = e , ρ > 0)n!µ(z3. Recalculez les reponses par la methode des fonctions génératrices. (R : π(z) = π −1 −1)0i=1ρ iµ(z −1 −1)λ(z−1) =µπ 0 = 1−ρ , car π(1) = 1).µ−λz 1−ρz4. (*) Calculez la distribution stationnaire des files G/M/1 et M/G/1 en temps discret,par la méthode des fonctions génératrices.L’étude de files d’attente a comencé par le calcul d’Erlang (1921) de la probabilité deperte de la file M/M/s/0. En terminologie moderne, ça revienne au calcul de la probabilitéstationnaire π(s) de cette file.Exercice 5.6.2 Calculez la distribution stationnaire du nombre de clients dans les files suivantes.−ρ ρn1. M/M/s/0 (R : π n = π 0 e , n = 0, ..., s)n!2. M/M/s∞Notes : 1) Remarque : Il est souvent plus convenable d’utiliser la ”forme operateurielle”du générateur :(Gv)(x) = λ i (v(x + 1) − v(x) + µ i (v(x − 1) − v(x)2) La file M/M/1 est ”stable” (i.e. a une distribution stationnaire de masse finie) ssiρ < 1 ⇐⇒ EZ i = λ − µ < 0.Cette condition est deja evidente pour la chaîne en temps discret X n = ∑ n1 Z i, oùZ i = ±1 avec probabilités λ, µ tq λ + µ = 1, et avec l’increment Z i ”censuré”, i.e obligéd’être 0 au lieu de −1, quand X n = 0. Le manque d’ergodicité est assurée si λ > µ, par laloi des grandes nb.3) En généralisant, une marche X n = ∑ Z i en temps discret contrainte de rester en Nsera stable ssi EZ i = ∑ kp k < 0, et la condition analogue ∑ kλ k < 0 assure la stabilité entemps continu.4) La file M/M/∞ est toujours stable.5.7 Ou sautera la sauterelle ?Pour analyser les deplacements d’un processus des sauts en temps continu, il est natureld’étudier la chaine sous-jacente/discretisée ˆX n obtenue en regardant seulement dans lesmoments des transitions A i , i = 1, 2, ... (ce processus peut être markovien, même quand leprocessus initial ne l’est pas).97

Exercice 5.7.1 SoitX t = N 1,λ (t) − N 2,µ (t)une marche aléatoire qui saute en haut/bas with taux λ/µ.Soit A le moment du premier saut.a) Quelle est la probabilité que X A+ − X A = 1 ?b) Quelle est la probabilité P [A ≥ t|X A+ − X A = 1] ?i.e.R : a) Supposons que X 0 = 0, et que, plus generalement, n types de saut sont possibles,X t =n∑s i N i,λi (t)i=1Soit {a i , i = 1, ..., n} des temps exponentielles independantes à paramètres λ i , i = 1, ..., n,correspondant à la première arrivée du processus de sauts de type i. Alors la variablea = min{a i , i = 1, ..., n} a une distribution exponentielle de paramètre λ = ∑ i λ i, et ladistribution de la variable I qui donne le type qui realise le minimum prend la valeur j a.p.λ j / ∑ λ k . (5.4)Exercice 5.7.2 Soit X t un processus des sauts a trois états. Les taux de transition à partirde 1 sont λ i , i = 2, 3, à partir de 2 elles sont µ i , i = 1, 3, et à partir de 3 elles sont ν i , i = 1, 2,Montrez que :1.⎧∑ ⎪⎨λ j, si i = 1,P{ ˜X n+1 = j| ˜Xk λ kn = i} = ∑ µ j, si i = 2,k ⎪⎩µ k∑ ν j, si i = 3k ν k2. Plus generalement, montrer que pour des processus de sauts Markoviennes en tempscontinu arbitraires, la chaîne discretisée prend la valeur j a.p.g i,j / ∑ j≠ig i,j . (5.5)Pour la file M/M/1, la chaîne discretisée a aussi une structure très simple :Exercice 5.7.3 Montrez que pour la file M/M/1 :a) P{ ˜X n+1 = j| ˜X n = i}, quand i ≥ 1 est donné parλλ+µ et µλ+µsi j = i ± 1 et par0 outrement, et P{ ˜X n+1 = j| ˜X n = 0} est 1 si j = 1 et 0 outrement (plus tard nous allonsgénéraliser cet exercice et donner une formule (5.5) pour la chaîne discretisé d’un processusdes sauts en temps continu arbitraire.b) Le temps d’attente entre les transitions est exponentiel à paramètre λ + µ conditionellementsur ˜X n = i quand i ≥ 1, est exponentiel à paramètre˜X n = 0.λ conditionellement surEn conclusion, la ”chaîne discretisé” de la file M/M/1 a comme matrice de transition :⎛⎞0 1 0 · · · · · ·µλ0 0 · · · · · ·µ+λ µ+λ P = ⎜µλ⎝ 0 0 0 · · · ⎟µ+λ µ+λ ⎠.. .. . .. . .. . ..ce qui vérifie la formule generale (5.5) ci-dessus.98

5.8 Distributions de type phase/matrice exponentielleExercice 5.8.1 Pour un processus absorbant en temps continu a deux états 0, 1 avec G 0,1 =0, G 1,0 = λ, calculeza) la distribution du temps d’absorbtion τb) la transformée de Laplace de τc) l’esperance de τ.Exercice 5.8.2 Quelle est la distribution du temps de passage d’un client par un reseau den serveurs en serie identiques, avec temps de service Expo(µ) ?Motivés par le fait que la distribution du temps de passage d’un client par un reseau de nserveurs exponentiels identiques en serie est la distribution d’Erlang, on considère le problèmede determiner la distribution du temps de passage τ par d’autres réseaux Markoviens (à partirdes diverses états initiaux), jusqu’à l’absorbtion dans un état ”cimetier” absorbant.Exercice 5.8.3 a) Quelle est la transformée de Laplace du temps d’absorbtion τ pour unprocessus absorbant en temps continu a trois états 1, 2, ∂ avec( )−λ1 λ 1 0G = 0 −λ 2 λ 20 0 0et distribution initiale (1, 0, 0) ?b) Quelle est la distribution de τ ?c) Calculez l’esperance de τSol : b) une distribution ”hypoexponentielle/Erlang generalisé=serie d’exponentielles”,aussi exprimable comme melange d’exponentiellesf(t) = λ 2λ 1λ 2 − λ 1(e −λ 1t − e −λ 2t )Exercice 5.8.4 Calculez la transformée de Laplace du temps d’absorbtion τ pour les processusabsorbants ayant une diagramme série arbitraire et pour les processus absorbants ayantune diagramme paralléle arbitraire.Comme les transformées de Laplace sont calculables pour des réseaux simples, consideronsmaintenant le cas général.Exercice 5.8.5 Obtenez par conditionnement sur la position après un interval très petit lestransformés de Laplacel = l i (s), i ∈ T , l i (s) = E i e −sτ =∫ ∞0e −st f i (t)dt = f ∗ i (s)des temps d’absorbtion d’un processus de Markov avec un état absorbant, à matrice génératrice(de taux de transitions) donnée par :( )G = B b0 0.où b = (−B)1.99

Sol : Posant ˜l = (l, 1), les équations sont{ ˜G˜l − sl = 0l i = 1,i = ∂⇐⇒ Bl + b − sl = 0,l = (sI − B) −1 bAvec une distribution initiale β, on trouveEe −sτ = β(sI − B) −1 b.Il s’avère que la distribution du temps d’absorbtion τ est disponible explicitement pourchaque processus de sauts de Markov X t avec un état absorbant, et qu’il est même plus facilede traiter directement le cas général, à matrice génératrice (de taux de transitions) donnéepar :( ) B bG =0 0Exercice 5.8.6 Montrez quee tG =( e tB 1 − e tB 10 1)Un moment de reflexion nous montre qu’en effet :1. la matriceP t = (P t (i, j) = P i [t < τ, X t = j], i, j ∈ T ) = e tBcontienne les probabilités de survie jusqu’au temps t, jointes avec la positionfinale j, et conditionnées par les positions de depart i.2. Les probabilités de survie jusqu’au temps t, conditionnées par les positionsde depart i, sonte tB 13. En tenant compte des probabilités de depart, on trouve :Définition 5.8.1 Une distribution de la formeF τ (t) = βe tB 1F τ (t) = βe tB v (5.6)est apellée de type matrice-exponentielle ; quand B est une matrice sous-génératrice, on parled’une distribution de type phase.Corollaire 5.8.1 Les caractéristiques fondamentales des distributions de typematrice-exponentielle et phase :a) Les ccdfs des temps d’absorbtion ¯F i (t) = P i [τ > t] d’un processus de Markov avec unétat absorbant, à matrice génératrice (de taux de transitions) donnée par :G =100( B b0 0),

sont :b) les densités sont¯F = e tB 1f = e tB boù b = (−B)1c) La matrice des transformées de Laplace P ∗ (s) = ∫ ∞e −st P0 t dt des probabilités de survieconditionnées par les positions de depart et jointes avec la position d’arrivée au temps t vautd)P ∗ (s) = (sI − B) −1Ee −sτ = β(sI − B) −1 be) le vecteur t d’esperances de τ, à partir de tous les états transitoires, estf)t = E[τ] = −B −1 1E[τ k ] = k!β(−B) −k )1Rem : Pour e), le resultat suit directement de l’équation Bt + 1 = 0Exercice 5.8.7 Pour les processus absorbants en temps continu definis respectivement parG =( )−λ1 0 λ 10 −λ 2 λ 20 0 0G =(−λ λ)000−λ0λ0distribution initiale (α 1 , α 2 , 0) distribution initiale (1, 0, 0),calculez :a) la transformée de Laplace du temps d’absorbtion τb) la densité de τc) le vecteur t d’esperances de τ, à partir de tous les états transitoires.Rem : Pour b), il est aussi possible d’inverser la reponse a).Exercice 5.8.8 Montrez que les statistiques d’ordes de n variables exponentielles i.i.d. ontdes distributions d’Erlang généralisés, et determiner leurs paramétres.(*) Investiguez le cas des statistiques d’ordes de n variables exponentielles independants,mais avec des paramétres différents.En conclusion, on a toutes les transforméesl i (s) = ( (sI − B) −1 b ) i , ∀i ∈ T ,à partir de B.Il est quand même profitable de reformuler ce résultat en fonction de la matricegéneŕatrice G, car ça permet de donner des extensions qui continuent à être vraies pourles processus semi-Markoviennes.101

Corollaire 5.8.2 (*)Transformées de Laplace des temps de premier passage. SoitX t un processus de Markov des sauts avec un état absorbant, à matrice génératrice (de tauxde transitions) donnée par :SoitG =( B b0 0).R s = (sI − G) −1sa resolvente. Alors, les transformées de Laplace l i (s)∀i ∈ T du temps de passage à étatabsorbant sont données par :l i (s) = R s(i, ∂)R s (∂, ∂) ∀i ∈ T .De plus, cette formule est valable pour chaque temps de premier passage entre deux étatsdifférents i, j d’un processus de Markov des sauts, i.e.l i,j (s) = R s(i, j)∀i ≠ j ∈ E.R s (j, j)Pour les temps de retour au même état, on trouve :l i,i (s) = 1 −1∀i ∈ E.R s (i, i)5.9 Les distributions de type phase discrètesExercice 5.9.1 a) Pour une chaîne a deux états 0, 1 avec P 0,1 = λ, P 1,0 = µ, calculezl’esperance t 0 du temps de retour T 0 (retour en 0, conditionné par un départ en 0).b) Verifiez l’identité t 0 = π0 −1 /P 0 [X 1 ≠ 0, valable pour toutes les chaînes ergodiques.c) Quelle est la distribution du T 0 ?Les distributions de temps d’absorbtion, appelées aussi ”distributions de phase”, sontdisponibles explicitement pour chaque chaîne absorbante. Soitp(k) = (p x,y (k), x ∈ T ) := (P x,y {N = k}, x ∈ T , y ∈ ∂})P (k) =:= (P x,y {N > k}, x ∈ T , y ∈ T })les matrices de dimension |T × |∂| ayant comme elements les probabilités jointes de k pasavant l’absorbtion, de départ en x et d’absorbtion en y.Théorème 5.9.1 a) Pour une chaîne de Markov absorbante à matrice de transitionles distributions du temps d’absorbtion N sont données par :Q P(T ,∂)0 Ib) Avec distribution initiale β, on a :p(k) = (Q) k−1 (T ,∂)P∞∑P (k) = (Q) k , z k P (k) = (I − Q) −1102k=0

c) Avec distribution initiale β, on a :P{N = k} = β(Q) k−1 (T ,∂)PP{N > k} = β(Q) k 1φ N (z) = ∑ kz k P{N = k} = β(I − zQ) −1 1d) Les transformées de Laplace l satisfont :Ql − sl + 1 = 0Exercice 5.9.2 Démontrez le théorème. Ind : Les matrices p(k), P (k) satisfont les recurrences:p(k) = Qp(k − 1), et P (k) = QP (k − 1)qui ramènent (en itérant) au résultat :Démonstration alternative : I N=k = ∑ x 0 ,x 1 ,...,x k−1 ∈T ,y∈∂ I X 0 =x 0 ,X 1 =x 1 ,...,X k−1 =x k−1 ,X k =y∈∂∈T .Dès lors,P x0 {N = k, X k = y} =∑x 1 ,...,x j−1 ∈TQ x0 ,x 1Q x1 ,x 2...Q xk−2 ,x k−1P (tr)x k−1 ,y = (Q) k−1 P (tr) (x 0 , y)Les résultats sont obtenus en prenant somme en y et somme en x 0 , ponderé par les poidsβ. Exercice 5.9.3 Démontrez queEN = ∑ kP{N > k}Rémarque : Ce théorème nous fournit une deuxième démonstration du Théorème ??c) :EN = ∑ kP{N > k} = β(I − Q) −1 1ser(q1 p 1 |)0Exercice 5.9.4 Soit la matrice de transition 0 q 2 | p 20 0 | 1a) Trouvez l’espérance de N.b) Généralisez au cas des matrices de ce type (série) de taille K + 1.c) Soit N = N 1 + N 2 , où N i est le nombre de fois qu’on reste en i. Montrez que ladistribution de N 1 conditionné par N est uniforme et calculez la distribution de N, si q 1 =q 2 = q.Remarque 5.9.1 On peut aussi résoudre l’exercice en remarquant que N i sont des variablesgéométriques, et donc N est hypergéométrique (une somme des géométriques).103

par( )q1 0 | p 1Exercice 5.9.5 Soit la matrice de transition 0 q 2 | p 20 0 | 1(β 1 , β 2 , 0). Trouvez l’espérance et la distribution de N.et la distribution initialeVoir aussi Ruegg, 2.6.3.Conclusion : Les distributions de type phase demandent le calcul des puissances/exponentiellesde matrices. Ces expressions sont très vite obtenues par logiciels comme Matlab, etc, et leurformule a toutes les apparences d’une expression analytique ; mais, comme pour la plupartdes matrices, les valeurs propres ne sont pas accessible analytiquement, leur calcul demandeen effet une évaluation numérique.5.10 Problèmes de Dirichlet/première passageLes problèmes de Dirichlet/première passage sont parmi les problèmes les plus faciles àrésoudre pour les processus de Markov.Exemple 5.10.1 Soit N s le nombre de personnes en attente dans une file M/M/1/, soitT = T 0 le temps de vidage de la file (appellé aussi pèriode occupèe/busy period siN 0 = 1) et T = min[T 0 , T K ] (où K peut-être la taille d’une salle d’attente).1. Calculez la distribution d’arrêt p(x) = P x [N(T ) = K], q(x) = P x [N(T ) = 0].Indication : On peut conditionner après un petit interval dt, ou après le temps de lapremière transition.2. ”Temps de vidage”. Montrez que si K = ∞ et λ < µ, alors le temps de vidageesperé t(x) = E x T 0 est de la forme t(x) = τ x ; déterminez τ. Donnez l’intérpretationprobabiliste de τ.3. Montrez que la transformée de Laplace du temps de vidage d(x) =E x e −δT 0, δ > 0 est de la forme d(x) = z x ; déterminez z. Donnez l’intérpretationprobabiliste de z.Calculez aussi la transformée de Laplace du ”temps de repos” -”idle-time”.Solution :(a) 1. p x = P x [X(T ) = K] satisfait :(Gp) x = 0 for any 1 ≤ x ≤ K − 1p K = 1p 0 = 0Comme c’est une equation homogêne, et les racines de l’equation auxiliare sont µ λ and1, on obtient p x = A 1 + A 2 ( µ λ )x = 1−( µ λ )x1−( µ λ )K .2. t x = E x [T ] (temps d’arrêt esperé) satisfait une equation nonhomogène(Gt) x + 1 = 0t 0 = 0t xaccroit non-exponentiellement quand x → ∞104

Comme c’est une equation nonhomogêne, on obtient t x = p x + ˜t x , ou ˜t x = τx. Lasolution particulière est ˜t x = x , la condition a ∞ annule le terme A µ−λ 2(µ/λ) x etla condition initiale annule A 1 , et alors la solution de l’equation nonhomogene estt(x) = τx =x , où τ represente le temps esperé de la ”busy period”=periode occupéµ−λavec un seul client present au début=une periode de decroisement par 1 de la file.3. d(x) = E x e −sT satisfait :(Gd)(x) − sd(x) = 0d(0) = 0d(∞) ≤ 1C’est une equation homogêne, et l’equation auxiliareλa 2 − (λ + µ + s)a + µ = 0 ⇐⇒ µ(a −1 − 1) + λ(a − 1) = (1 − a) µ − aλ = saa exactement une racine z qui n’est pas plus grande que 1 (par exemple, avec δ = 0 onobtient z = 1). On obtientd(x) = z(s) x ,où z(s) est la transformé de Laplace d’une periode de decroisement par 1 de la file (onpeut aussi interpreter z comme la valeur actualisée par rapport au taux s d’une unitemonetaire qu’on recevra quand la file diminue par 1).Remarque : La distribution de la periode de decroisement par 1 de la file (”busyperiod”) est importante justement a cause des structures additive/multiplicative signalé cidessus.Soit τ le temps de sortie d’un processus de Markov de son domaine E, soit c(x) definisur le domaine et b(x) defini sur le domaine complementaire ∂, et soitf(x) = E x [∫ τ0c(X(t)) dt + b(X τ )]Exercice 5.10.1 Montrez, en conditionnant sur la position au moment t + h, pour h trèspetit, que f(x) satisfait les équations de Dirichlet :(Gf)(x) + c(x) = 0 si x ∈ int(E)f(x) = b(x) si x ∈ ∂Rémarque : Le problème de Dirichlet pour une chaîne discrète est obtenu en remplaçantle générateur G par son analogue discret P −I = P − I, ou P est la matrice de transition de1la chaîne discrète (la démonstration directe de ce cas est pareille, est plus facile que celle ducas continu).Théorème 5.10.1 Etant donne un processus de Markov en temps continu X u avec domaineE et generateur G, l’esperance du gain actualisésatisfait :avec f = b sur la frontière.f(x) = E x [e − ∫ τ0 r(X u)du b(X τ ) +∫ τ(Gf)(x) − r(x)f(x) + c(x) = 01050e − ∫ t0 r(X u)du c(X(t))] dt

Note : Ces problèmes ont aussi des versions à durée finie T , où on s’interesse en :f(x, T ) = E x [e − ∫ min[τ,T ]0 r(X u)du b(X min[τ,T ] ) +∫ min[τ,T ]0e − ∫ t0 r(Xu)du c(X(t))] dtCette fois ci, le gain esperé f depend aussi du temps qui reste T , et on arrive a la solutiond’une EDP a conditions initiales et de frontière :∂∂Tf + (Gf)(x) − r(x)f(x) + c(x) = 0 si x ∈ int(E)f(x) = b(x) si x ∈ ∂ ou T = 05.11 Chaînes et processus a espace d’états infiniNote : Dans le cas des processus a espace d’états dénombrable, c’est possible a prioriqu’il y’ait des éléments e i de E tel que g ii = − ∑ j≠i g i,j = −∞ ; un tel état e i est ditinstantané (parce-que, comme on a vue, g i = −g ii est precisement le taux du temps de sortieexponentiel T (i) , et alors g ii = −∞ entraîne T (i) = 0.L’interêt principal en les chaînes avec espace d’etats infini est dans le cas d’une seuleclasse de communication.Pour les chaînes irréductible avec espace d’etats fini, tous les états sont recurrents. Parcontre, pour les chaînes infinis, la communication des états ne suffit pas (elle peut encorecacher des comportements diverses), et il convient d’adopter une nouvelle classification desetats (plus fine).5.12 Récurrence des chaînes à espace d’états denombrablePour les chaînes avec espace d’etats fini qui communique tous, toutes les états sontrecurrents. Par contre, pour les chaînes infinis, la communication des états peut toujourscacher des comportements diverses, et il convien d’adopter une nouvelle classification desetats (plus fine).Pour les chaînes avec espace d’états discret (fini où dénombrable), posonsf i,j = P i {∃t ≥ 1 : X t = j}On peut vérifier que pour les chaînes avec espace d’etats fini qui communique tous, on af i,j = 1, ∀i, j.Définition 5.12.1 Soit e i dans E. L’état e i est dit récurrent si, et seulement si : f i,i = 1Dans le cas contraire, e i est dit transient (ou transitoire) 4 .Pour les états récurrents, on pose T i pour le temps du premier retour en i ; on distingueencore entre états recurrents positifs, pour les quels E i T i < ∞, et états nul-recurrents, pourles quels E i T i = ∞4. Pour un espace d’états continu, on etudie plutot la récurrence/transience des ensembles.106

Autrement dit : e i est récurrent si, et seulement si : en partant de e i , on est (presque) sûrd’y revenir en un temps fini (et donc par conséquent un nombre infini de fois) ; et il estrécurrent positif ssi en plus l’espace d’états du temps du premier retour est fini.Remarque 5.12.1 La récurrence et la transience ne dépendent que de la classe. On parlealors des classes récurrentes ou transitoires.Théorème 5.12.1 Dans le cas récurrent positif, on a (comme dans le cas d’espace d’étatsfini) pour les chaînes en temps discretπ(i) = 1ET ioù T i est le temps total de retour au état i, et pour les processus en temps continuπ(i) =11 + ER ioù R i est le temps de retour au état i, en partant du moment qu’on le quitte. Par contre,dans le cas récurrent nul, il n’y a pas de distribution stationnaire, et la distribution limite,si elle existe, est identiquement 0.Rapellons qu’un état i est appellé transient ssi sa probabilité de retour P i satisfait P i < 1,ou si l’espérance du nb. des visites dans ce point (qui a une distribution geometrique) satisfaitN i = 1/(1 − P i ) < ∞. Dans le cas contraire, état est appellé récurrent.Pour la marche aléatoire simple sur Z, il est facile de calculer P = 2 min(p, q) ; enconclusion, il y a récurrence ssi p = q. On verifie facilement que le temps esperé de retour est∞ (ce cas peut aparaitre seulement sur les espace d’états infinis, et s’apelle nul recurent).Dans le cas, appellé récurrent positif, des marches récurrentes avec temps esperés de retourE i < ∞, on peut vérifier que la distribution stationnaire est π i = E −1i .Pour la marche simple, on peut aussi calculer N par la decompositionN =∞∑P [S 2k = 0] =k=0∞∑k=0( 2kk)(pq) k = 1/(1 − 4pq) 1/2 = |2p − 1| −1 = |p − q| −1 .Le resultat est obtenu en verifiant le quotient des termes consecutifs dans la serie cidessus; on aperçoit alors qu’on a a faire avec la serie hypergeometrique 1 F 0 [ 1/2− ; −4pq] =(ce genre des sommes ont des formules explicites, qu’on peut decouvrir facilement1(1−z) 1/2avec un logiciel symbolyque, assez souvent) 5 .Rm : La dernière expression est valable aussi pour la marche paresseuse avec p + q < 1.5. On peut aussi utiliser la representation P k = Coef(0, Ez S k). On trouve N = ∑ ∞k=0 Coef(0, EzS k) =Coef(0, ∑ ∞k=0 (pz + qz−1 ) k z) = Coef(0,z−pz 2 −q ) = Coef(0, 1p−q ( 11−z − 11−pz/q)) = ..., ou l’inversion de latransformée de Fourier. Cette méthode aboutisse aussi en deux dimensions, en ramenant a des integraleseliptiques107

5.13 Fiabilité pour les processus semi-markoviens desautsUn processus markovien de renouvellement est défini par une suite des pairs des variables{(X n , T n ), X n ∈ E = {1, 2, ...}, T n ∈ R + , n ≥ 0}representant respectivement les positions d’un processus de sauts sur un ensemble fini oudénombrable E, et les temps de transition. Les distributions jointes de X n et des temps detransition entre les sauts sont définies par des ”noyaux”A n (t) = {K i,j,n (t) = P[X n+1 = j, T n+1 − T n ≤ t|X n = i], i, j ∈ E, n ≥ 0}tq les matrices P n := A n (∞) sont stochastiques, et les fonctions F i,j,n (t) = A i,j,n (t)/A i,j,n (∞)sont nondecroissantes, continues à droite.Nous traiterons seulement le cas homogène, défini par un seul noyauA(t) = {A i,j (dt) = P[X n+1 = j, T n+1 − T n ≤ t|X n = i], i, j ∈ E}, ∀n ≥ 0.Soit A ∗ (z) la matrice des transformées de Laplace/transmittances.Le noyau factorise donc en deux composants{A i,j (t) = P i,j F i,j (t), i, j ∈ E},qui representent respectivement les distributions de la chaîne X n des sauts, et les distributionsdes temps de transition entre les sauts T n .Définition 5.13.1 Un processus markovien de renouvellement homogène de transmittancesQ ∗ (z) est un processus définit par une matrice des distributionsK i,j (t) = P i,j F i,j (t),tq P = K(∞) est la matrice de transition d’une chaîne de Markov, et F i,j (t) sont desdistributions (des temps de transition entre les sauts).Soit N t les processus de comptage associé (comptant le nb. des sauts jusqu’au temps t).Le processus en temps continuZ t = X Ntest appellé processus semi-markovien.Rq : La modélisation semi-markovienne offre une flexibilité considerable. En separant lesprobabilités de transition p i,j de la chaîne sous-jacente des distributions F i,j (t) des temps detransition, elle permette que ceci soient arbitraires et dependant aussi des points d’arrivéedes sauts (pendant que dans la modélisation markovienne 1 − F i,j (t) = e g i,it , ∀j ∈ E).Exercice 5.13.1 a) Specifiez les chaînes ”discretisés” obtenues en regardant la file d’attenteM/G/1 aux temps des départs et la file G/M/1 aux temps d’arrivé sont des chaînes de Markoven temps discret, en donnant leur matrices de transition.b) Quelles sont les matrices de transition des discretisés des files M/G/1/K et G/M/1/K ?108

Sol b) : Pour la file M/G/1/K, posons p k = P{k arrivés pendant un service } et P k =∑ ∞i=k p i pour le premier cas.⎛G =⎜⎝⎞p 0 p 1 p 2 · · · · · · P K+1p 0 p 1 p 2 · · · · · · P K+10 p 0 p 1 p 2 · · · P K.. .. . .. . .. . .. P K−1⎟... ... ... . p 1 . ⎠0 0 · · · 0 p 0 P 1Pour la file G/M/1/K, posons p k = P{k services entre deux arrivés } pour le deuxièmecas et P k = ∑ ∞i=k p i pour le premier cas...Exercice 5.13.2 Essayez les exercices les plus simples des chapitres anterieurs, en supposantdes temps des sauts non-exponentielles.5.14 Réseaux de JacksonDans le cas multidimensionel, les distributions stationnaires sont très difficiles a calculer,avec l’exception rémarquable des réseaux de Jackson, qui ont des distributions stationnairesproduits ∏ Kk=1 (1 − ρ k)ρ n kkoù ρ k = a kµ k, et a k sont les flots d’entrée moyens, determinés parl’egalité des flots d’entree et de sortie – voir http ://daniel.flipo.free.fr/cours/ffa.pdf pourune introduction.Exercice 5.14.1 Calculer ( ) la distribution stationnaire d’un tandeme défini par les paramètresλ 2 = 0, P = 0 p1 0 .Sol : L’egalité des flots d’entree et de sortie donnea 2 = pa 1 , a 1 = λ 1 + a 2 , a 1 = λ 11 − p , a 2 = λ 1p1 − pÇa explose pour p = 1, car dans ce cas aucun client ne part pas.5.15 ConclusionsUn des outils les plus importants de la théorie des chaînes de Markov est l’étude desvariables d’absorbtion, qui réflechissent le comportement d’une chaîne X jusqu’au temps depremier passage T dans un ensemble des états l’absorbants ∂.Les problèmes de Dirichlet ont comme objet l’étude des temps de sortie τ, de la distributiondu point de sortie X τ ∈ ∂, et des diverses autres fonctionnelles comme des prixfinaux ou des coûts accumulés par un processus jusqu’au moment de son absorbtion en ∂. Ilsramènent toujours aux systèmes specifiant les relations entre les esperances des fonctionellesconditionnées par le point de départ.109

Exercice 5.15.1 Obtenez les équations de Dirichlet pour les probabilités p d’absorbtion dansun sous-ensemble A ⊂ ∂, et les temps esperés d’absorbtion t, (à partir des diverses étatsinitiaux, voir Ch. 2.6, Part 1), en conditionnant sur le moment de la premiére transition,pour un processus de Markov avec un état absorbant, à matrice génératrice (de taux detransitions) donnée par :( )G = B b0 0où b = (−B)1.Obtenez par conditionnement sur la position après la première transition les transformésde Laplacel i (s) = f ∗ i (s) = E i [e −sτ 1 {Xτ ∈A}des temps d’absorbtion.Sol : Les trois équations sont respectivement˜Gp = 0p i = 1 A (i),∀i ∈ ∂˜Gn + 1 = 0n i = 0,∀i ∈ ∂˜Gl(s) − sl = 0l j (s) = 1 A (j),∀j ∈ ∂où ˜G = (B, b) denote la matrice generatrice avec les lignes des états recurentes enlevées.Cinq types des problèmes fondamentaux rencontrés sont :1. La distribution de la position d’absorbtion X Tp x (y) := P x {X T = y}, y ∈ ∂(A), x ∈ int(A) := A − ∂(A)parmi les différents états absorbants y ∈ ∂.Quand x varie, ces probabilités satisfont le systèmep x (y) = δ y (x), x ∈ ∂,(Gp) x = 0 ⇐⇒ p x = (P p) x , x ∈ int(A)Définition 5.15.1 Une fonction f : A− > R s’appelle harmonique sur int(A) :=A − ∂(A) si elle satisfait(Gf) x = 0 ⇐⇒ f x = (P f) x , x ∈ int(A)est sont appelées (à cause de la dernière rélation).Corollaire 5.15.1 Pour chaque y ∈ ∂(A) fixe, les probabilités d’absorbtion p x (y) sontdes fonctions harmoniques en x.110

∫ T2. Les espérances des temps d’absorbtion t x = E x T = E x 1ds, x ∈ ∫ (A) ou des coûts0accumulés esperés :∫ Tc x = E x h(X s )ds(le cas particulier h(x) = 1 rends les espérances des temps d’absorbtion t x ).Quand x varie, ces coûts satisfont le système0c x = 0, x ∈ ∂,(Gg) x + h(x) = 0 ⇐⇒ c x = (P c) x + h(x), x ∈ int(A)3. La distribution de TP x (k) = P x {T ≥ k}Dans le cas k ∈ N, elle satisfait une recurrence simple.4. Probabilités et coûts d’absorption ”actualisés” :E x e −rT g(X T ),∫ TE x e −rs h(X s )dsimportants dans les mathématiques financières ; ceux ci rendent en particulier la fonctiongénératrice de la distribution jointe de la position et du temps d’absorbtion.5. ”Autres problèmes”, comme le calcul dep x (k, B) := P x {exactement k visites en B avant l’absorbtion en ∂(A)}Dans ce dernier cas, nous cherchons des recurrences liant p x (k, B), x ∈ A à p x (k −1, B), x ∈ A.Conclusion : Nous avons observé dans les chapitres precedants trois idées très importantesdans la modélisation Markovienne :1. Pour les chaînes et processus de Markov, l’étude des esperances des diverses fonctionelles,vues comme fonctions de l’état initial, ramène a des systèmes linéaires avec uneinconnue pour chaque état initial possible.2. Ces systèmes peuvent être obtenues par la méthode du conditionnement sur le premierpas.3. Les diverses systèmes associés avec un processus fixe implique toujours la même partiehomogène appellée ”operateur” ou générateur du processus (dans le cas des chaînesde Markov en temps discret et à espace d’états fini ou dénombrable, l’ operateur estsimplement P − I, où P est la matrice de transition P ). Par contre, les conditionsfrontière, termes non-homogènes, et d’autre ”details” (comme la presence/absence d’unmultiple de l’operateur identité) varient d’un problème à l’autre.Il s’avère que ces principes s’appliquent pour toutes les processus de Markov, X t ,différents qu’elles soient, vivant sur des espaces S considerablement plus compliqués, laseule difference étant que l’operateur G X : F (S)− > F (S) associé a ces processus sera pluscompliqué !On arrivent toujours aux mêmes èquations, obtenues juste en remplaçant un operateurpar un autre.1110

Par exemple, les problèmes concernant les marches simples ont aussi des versions pour lemouvement Brownien, qui est un processus à espace d’états continu, avec chemins continus(obtenu en considérant des marches simples avec incréments infinitésimaux ±ϵ, et en prenantla limite ϵ → 0). Les équations resterons les mêmes, mais l’operateur des difference etremplacé par loperateur differentiel ∇ (le Laplacien).En conclusions, il existe une correspondance/dictionnaire un á un entre les processus deMarkov et une certaine classe d’operateurs deterministes associés.5.16 Exercices1. Calculer ”l’exponentielle ( ) aprés ” P t plus precisement la solution de P t ′ = AP t , P 0 =−2 tIpour A =, et ”l’exponentielle avant” Q0 −1t , plus precisement la solutionde Q ′ t = Q t A, Q 0 = I. Est-ce qu’elles coincident ? Est-ce que une d’elles fournie unsemigroup stochastique ?2. Soit X = (X t ; t ≥ 0) une chaîne de Markov en temps continu sur l’ensemble S ={1, 2, 3}. Supposons que la matrice infinitésimale (de taux de transitions) de X estdonnée par⎛G = ⎝−7 1 62 −6 41 2 −3(a) Donnez la formule exacte, ainsi q’une approximation des probabilités de transitioninfinitésimales P i {X dt = j} de la chaîne.(b) Quelles sont approximativemment les probabilités de transition de la chaînediscrétisée associée au temps .1 ?(c) Quelles sont les probabilités de transition de la chaîne discrétisée associée auxtemps de saut ?(d) Trouvez la distribution stationnaire de ce processus.(e) Quelle est la loi conditionelle de T 3 = inf{t ≥ 0 : X t ≠ 3|X 0 = 3}, en sachant queX 0 = 3 ?(f) Posant T (3) = inf{t > T 3 : X t = 3}, donnez un système des équations pourx 1 = E[T (3) |X 0 = 1] et x 2 = E[T (3) |X 0 = 2]. Résolvez les équations.(g) Calculez E[T (3) |X 0 = 3](h) Calculez, pour le processus absorbé en 3, P i,j (t) = P[t ≤ T (3) , X(t) = j|X 0 =i], i = 1, 2.(i) Calculez ¯P 1 (t) = P[T (3) ≥ t|X 0 = 1] et ¯P 2 (t) = P[T (3) ≥ t|X 0 = 2] à partir deséquations de Chapman-Kolmogorov et à partir de la réponse précedente et vérifiezque les réponses coincident. Vérifiez que x i = ∫ ∞¯P0 i (t)dt, i = 1, 2.(j) Soit ˆX i , i ∈ N la chaîne sous-jacente. Calculez les distributions de T 3,2 = inf{t ≥0 : X t = 2| ˆX 0 = 3, ˆX 1 = 2}, T 3,1 = inf{t ≥ 0 : X t = 1| ˆX 0 = 3, ˆX 1 = 1}, T i,j =inf{t ≥ 0 : X t = j| ˆX 0 = i, ˆX 1 = j}.112⎞⎠

3. a) Obtenez les équations de Chapman-Kolmogorov pour un processus des sauts Markovien,en conditionnant sur le moment de la premiére transition.b) Obtenez les équations de Chapman-Kolmogorov, en conditionnant sur la positionau moment t + h, pour h très petit.Ind : Commencez par le cas du processus de Poisson.4. Soit X t une file M(λ)/M(µ)/1.(a) Donnez la matrice génératrice G pour le processus X t .(b) Indiquer les valeurs des probabilités p et q pour que le nombre des clients augmente/diminue,au moments du premier saut à partir d’un état n ≥ 0.(c) Calculez la distribution stationnaire de X t .(d) Calculez, l’ésperance t i en sortant de i ≥ 1 du temps T 0 jusqu’‘a la première arrivéeen 0 (”busy period”), en utilisant le système de conditionnement 1+ ∑ j G(i, j)t j =0, ∀i ≥ 1.(e) Calculez l’ésperance en sortant de 0 du temps ˜T 0 jusqu’au premier retour en 0.(f) Calculez l’ésperance T 0,s = E π [T 0 ] du temps stationnaire (i.e. avec la distributioninitiale stationnaire π) jusqu’à la première arrivée en 0.5. Supposons que le nombre de clients X s en attente dans une file M(λ)/M(µ)/1 a atteintà un temps fixé 0 sa distribution stationnaire, i.e. P[X 0 = k] = ρ k (1 − ρ), k = 0, 1, 2, ...,où ρ = λ µ .Un client qui arrive au temps 0 restera dans le sytème pour un temps total (attente +service) T = ∑ X 0 +1i=1S i , où S i , i = 1, ..., X 0 + 1 sont les temps de services du client etde ceux qu’il trouve en attente dans la file.a) Calculez la transformée de Laplace, l’éspérance et la distribution du temps T dansle système du client qui arrive au temps 0.b) (*) Il s’avère que les clients en attente dans le tampon au temps 0 ont été infestéschacun par des extraterestres, de telle manière que chacun donnera naissance tout aulong de son attente à des nouveaux extraterestres, après des temps exponentiels de tauxλ. Soit B i (t) le nombre d’extraterestres produits par le client i. Quel est l’espérancedu nombre total Z(t) = ∑ X 0i=1 B i(t) des extraterestres produits du temps 0 au temps tpar les clients infestés ?6. Pour X s un processus Poisson à taux λ, conditionné sur X 0 = x, et T le temps de lapremière arrivée, calculez la transformé de Laplace ˆf T [δ] = Ee −δT , δ ≥ 0 et le coûttotal de stockage discompté∫ ∞v δ (x) = E x e −δs X s dsIndication : Utilisez la décomposition X s = x + Y s , ou Y s est un processus Poissonconditionné sur Y 0 = 0. Soit T (0) le moment du premier saut. Alors, Y T (0) +s = 1 + Y s .7. Calculez la la distribution stationnaire du nombre de clients dans la file M/M/s (π n =−ρ ρne , n = 0, ...s; π n! n+k = π n ( ρ s )k P o(ρ,s−1), k = 0, ..., π(s) =ρ ) s1130P o(ρ,s−1)+e −ρs!(1−ρ/s)

8. Trouvez la distribution stationnaire du temps d’attente W dans les file M/M/s,M/M/∞, et leurs transformées de Laplace.9. Trouvez la fonction génératrice des moments du temps de séjour total d’un client dansune file M(λ)/M(µ)/1, en supposant que la file est en regime stationnaire. Indication :Utilisez la distribution stationnaire de la file M(λ)/M(µ)/1, et la question précédente.10. Est-ce-que l’espérance stationnaire du séjour totale d’un client dans une file M(λ)/M(2µ)/1est plus grande que celle d’un client dans une file M(λ)/M(µ)/2 ? Justifiez votre reponse.11. Soit X = (X t ; t ≥ 0) un processus de Markov en temps continu, à matrice génératricedonnée par :( ) −β0 βG =b Boù b = (−B)1 et β 0 = β 1. Montrez que le temps de retour au premier état, enpartant du moment qu’on le quitte, a transformée de Laplace : ˆb[s] = β (sI − B) −1 bet ésperance ¯b = β (−B) −1 1, et que la probabilité stationnaire de cet état satisfaitπ0 −1 = 1 + ¯bNote : Dans le cas b 0 = 1, on retrouve la bien-connue rélation du cas du temps discret π −10 = ET 0 , où T 0est le temps total de retour au premier état.12. Obtenez les transformés de LaplaceL i,j = E i [e −τ 1 {Xτ =j}],i ∈ T , j ∈ ∂pour les temps d’absorbtion jointes avec la position d’absorbtion, pour un processusde Markov avec plusieurs états absorbants.Solutions :1. P t =( )e−2te −t (e −t − 1 + t)0 e −t , Q t =( )e−2te −2t (e t − 1 − t)0 e −t2. (a) Les probabilités de transition infinitésimales⎛1 − 7dt dt 6dtP (dt) = e dt G ≈ I + dt G = ⎝ 2dt 1 − 6dt 4dtdt 2dt 1 − 3dt⎞⎠(b)⎛P (.1) ≈ ⎝.3 .1 .6.2 .4 .4.1 .2 .7⎞⎠(c) Les probabilités de transition au moment du premier saut sont :⎛0 1/7 6/7⎞P = ⎝ 1/3 0 2/3 ⎠1/3 2/3 0114

(d) π = ( 213 , 3 13 , 813 )(e) La loi conditionelle de T 3 = inf{t ≥ 0 : X t ≠ 3}, en sachant que X 0 = 3, est la loiexponentielle à paramètre 3 (et moyenne 1/3).(f) En conditionnant sur le premier saut, nous trouvons :x 1 = 1 7 + 1 7 x 2x 2 = 1 3 x 1 + 1 6donc le même système. De lors, x 1 = 7 40 , x 2 = 940 .(g) Conditionnant au moment du premier sautE[T (3) |X 0 = 3] = 1 3 + 1 3 x 1 + 2 3 x 2 = 1 3 + 1 73 40 + 2 93 40 = 1 7 + 18(1 +3 40 ) = 1 3(h) Soit⎛˜G = ⎝−7 1 62 −6 40 0 0le générateur du processus absorbé en 3, et soit( ) −7 1˜G =2 −6⎞⎠138 = 1324le générateur du processus observé seulement en 1, 2. Diagonalisons ˜G = L −1 Diag(λ i )L,où les lignes de la matrice L sont les vecteurs propres à gauche. Ici, les valeurspropres, données par λ 2 + 13λ + 40 = (λ + 8)(λ + 5) = 0 sont −8 et −5 avecvecteurs propres L =( 2 −11 1). Finalement,˜P (t) = L −1 Diag(e λ i t )L(i) Les probabilités demandées satisfont ¯P i (t) = 1 − P i,3 (t), i = 1, 3, où P i,3 (t) sontles probabilités de transition du processus absorbé avec générateur⎛⎞−7 1 6˜G = ⎝ 2 −6 4 ⎠0 0 0A. Par la question precedente, :( )P1 (t)= L −1 Diag(e λ i t )L1,P 3 (t)ce qui donne( )P1 (t)= 1 P 3 (t) 3( ) ( ) ( )1 1 e−8t0 2 −1−1 2 0 e −5t 1 = 1 1 1 3115( ) ( ) ( 1 1 e−8 t +2e−1 2 2e −5 t =−5t /3 +4e −5t /3 −

et x 1 = 2 1+ 1 1= 7 , x 3 5 3 8 40 2 = 9 . 40B. Posons p i (t) = ¯P i,3 (t) = 1 − P i,3 (t) pour les probabilités de non-absorptiondans la colonne fixe 3. On a p 1 (0) = p 2 (0) = 1 Comme P 3,3 (t) = 1, l’équationChapman-Kolmogorov P ′ = GP donne pour la troisième colonne :ou(1 − p 1 (t)) ′ = −7(1 − p 1 (t)) + (1 − p 2 (t)) + 6(1 − p 2 (t)) ′ = 2(1 − p 1 (t)) + −6(1 − p 2 (t)) + 4p 1 (t) ′ = −7p 1 (t) + p 2 (t), p 1 (0) = 1p 2 (t) ′ = 2p 1 (t) − 6p 2 (t), p 2 (0) = 1et donc( )p1 (t)= e t ˜G1p 3 (t)où ˜G denote le générateur avec la colonne et ligne d’absorption 3 enlevée.3. Soit j ∈ N , on veut calculer p j (t) = P [X t = j]. Dans ce qui suit on conviendra denoter p −1 (t) = 0. On a pour tout h > 0 :p j (t + h) = P [X t+h = j] ====j∑P [X t+h = j et X t = i] car X t ≤ X t+h d’après (1)i=0j∑P ([X t+h − X t = j − i] ∩ [X t = i])i=0j∑P [X t+h − X t = j − i] P [X t = i] car (X t ) t≥0est un P.A.I.i=0j∑p j−i (h) p i (t) d’après (2)i=0= (1 − λh) p j (t) + λhp j−1 (t) + hε (h) avec limh→0ε (h) = 0Ainsi,p j (t + h) − p j (t)= λ (p j−1 (t) − p j (t)) + ε (h)hEn passant à la limite (h → 0), on obtient alors :{′p 0 (t) = −λp 0 (t)p ′ j (t) = λ (p j−1 (t) − p j (t)) si j ≠ 04. c) On trouve π i = ρπ i−1 , i = 1, 2, ..., et donc π i = ρ i π 0 avec ρ = λ µ .d) t 1 = 1µ−λ .e) Remarquez l’identité t 0 P 0 [X 1 ≠ 0] = π −10 , valable pour toutes les chaînes ergodiques.116

5. a) S i , i = 1, ..., X 0 + 1 sont des variables exponetientielles de paramètre µ. On trouveEe −sT = Ee −s ∑ X 0 +11 S i=∞∑k=1(1−ρ)ρ k−1 ( µµ + s) k= (1−ρ)µ(1 −φµ + sµ(1 − ρ) + s =µ + s µ(1 − ρet donc T est exponentielle avec paramètre µ(1 − ρ). b) E ∑ X 0i=1 B i(t) = EB 1 (t) EX 0 =λt φρ1 − ρ6. Le temps de la première arrivée étant exponentiel, Ee −δT = λle temps de la première arrivée, on trouve d’abord v(0) =v(0) = λ . En suite, v(x) =v(x + 1), ....δ 27. (a)(b)δλ+δ1+ δλλ+δλ+δ λ ( 1λ+δ δ. Conditionnant sur+ v(0)) et alors :(c) On trouve π 2 = ρπ 1 , π ′ 2 = ρ ′ π ′ 1. Soit k = π 0 + π 1 + π ′ 1. Eliminant π 2 , p ′ 2, on arriveà :λpk = (λ + µ)π 1λp ′ k = (λ + µ ′ )π ′ 1k + ρπ 1 + ρ ′ π ′ 1 = 1et donc π 1 = φkpρ1 + ρ, π ′ 1 = φkp ′ ρ ′ 1 + ρ ′ , π 0 = φkp1 + ρ + φkp ′ 1 + ρ ′ aveck = (1 + φpρ 2 1 + ρ + φp ′ (ρ ′ ) 2 1 + ρ ′ ) −1 .117

Chapitre 6Résolution des èquations deChapman-Kolmogorov (*)pour le6.1 Le processus de Poisson ; le calcul de l’exponentielledes matrices triangulairesConsiderons le processus de Poisson Markov homogène (X t ) t≥0d’intensité λ ≥ 0, de⎛⎞−λ λ 0 · · · 00 −λ λ 0 .générateur G =0 0 −λ . . . 0⎜.⎝ . 0 .. . .. ⎟⎠.. . .. . ..Fixons l’état initial i = 0 et posons P 0,j (t) = p j (t). Les équations de Kolmogorov avantP ′ = P G pour la première ligne sontp ′ j(t) = ∑ k≠jp k (t) g k,j − p j (t) ∑ k≠jg j,kNote : En ecrivant ces équations comme p j (t + h) = ∑ k≠j p k(t) g k,j h + p j (t)(1 − h ∑ k≠j g j,k) on voit que c’est encore deséquations de conditionnement.Pour le processus de Poisson, ces équations sont :{p′0 (t) = −λp 0 (t)p ′ j (t) = λ (p j−1 (t) − p j (t)) si j ≠ 0On sait aussi que p j (0) = 0 si j ≠ 0 et p 0 (0) = 1.On a donc un système différentiel pour déterminer les p j , qui peut être resolue recursivement:→ Pour j = 0 :{′p 0 (t) = −λp 0 (t)⇒ pp 0 (0) = 10 (t) = e −λt118

→ Pour j = 1 :{p′1 (t) = λ (p 0 (t) − p 1 (t))p 1 (0) = 0⇔{p′1 (t) + λp 1 (t) = λe −λt (∗)p 1 (0) = 0t ↦→ λte −λt est une solution particulière de (∗) et t ↦→ Ce −λt (où C ∈ R) est la solutiongénérale de p ′ 1 (t) + λp 1 (t) = 0 donc t ↦→ (C + λt) e −λt est la solution générale de (∗).De plus, on doit avoir p 1 (0) = 0 donc C = 0 et on a p 1 (t) = e −λt λt.→ Raisonnons alors par récurrence. Supposons que pour j dans N, p j (t) = e −λt (λt) jj!etdéterminons p j+1 . On a :{p′j+1 (t) = λ (p j (t) − p j+1 (t))p j+1 (0) = 0⇔{ p′j+1 (t) + λp j+1 (t) = e −λt tj λ j+1j!(∗∗)p j+1 (0) = 0t ↦→ Ke −λt (où K ∈ R) est la solution générale de p ′ j+1 (t) + λp j+1 (t) = 0 et()t ↦→ λj+1 t j+1e −λt est une solution particulière de (∗∗) donc t ↦→ K + λj+1 t j+1e −λt est la(j+1)!(j+1)!solution générale de (∗∗). Or p j+1 (0) = 0 d’où K = 0 et on obtient : p j+1 (t) = (λt)j+1(j+1)! e−λtce qui recupère la distribution Poisson (en eclaircissant la provenance de la terminologie”processsus de Poisson”).Nous venons de redémontrer que pour un processus de Poisson (X t ) t≥0d’intensité λ > 0,la variable aléatoire X t suit pour tout t > 0 une loi de Poisson de paramètre λt.Exercice 6.1.1 Recalculez les probabilités de transition du processus de Poisson par laméthode des fonctions génératrices.Remarque : 1) La solution recursive ci-dessus s’appuie sur la structure triangulairedu générateur, et peut-être aussi implementé pour tout processus de ”Poisson composé denaissance pure” (permettant la naissance de jumeaux, etc).Le calcul peut-être simplifié en començant par la substitution p k (t) = e −λ kt P k (t), ou λ kest le taux total de naissance en état k. Il s’avère que P j (t) sont des polynômes, faciles aobtenir recursivement.Exercice 6.1.2 Recalculez les probabilités de transition du processus de Poisson par cettesubstitution.Solution : Les équations de Kolmogorov pour le processus de Poisson deviennent aprèsla substitution :{P′0 (t) = 0, P 0 (0) = 1P ′ j (t) = λP j−1 (t) , P j (0) = 0 si j ≠ 0Il suit que P 0 (t) = 1, et integrations succesives donnent P j (t) = (λt)jj!.119

6.2 Résolution des èquations Chapman-Kolmogorovpour le processus de Markov à deux étatsOn suppose que (X t ) t≥0est une chaîne de Markov homogène à valeurs dans( ) −α αE = {e 1 , e 2 }, de générateur G =avec α, β ≥ 0.β −βOn est bien dans les conditions d’application du théorème 1-2 (E est fini). La chaîneétant simple, on peut résoudre des équations de Kolmogorov en diagonalisant G. Le polynômecaractéristique P G de G est donné par :P G (λ) = det (G − λI 2 ) = λ (α + β + λ) .→ 1 er cas : α = β = 0On a G = 0 donc e tG = I 2 pour tout t ≥ 0.→ 2 ième cas : (α, β) ≠ (0, 0)La matrice G admet 2 valeurs propres distinctes donc est diagonalisable.Les valeurs propres sont 0 (avec −→ ( ) 1v 1 = comme vecteur propre associé) et − (α + β)1(avec −→ ( ) αv 2 = pour vecteur propre associé).−β( ) 1 αEn posant P =, on a P1 −β−1 = 1 ( ) β αetα + β 1 −1( )0 0G = P DP −1 où D =.0 − (α + β)( )1 0En utilisant e tD =0 e −(α+β)t on trouve :P t = e tG = P e tD P −1 = 1α + β( )β + αe−(α+β)tα − αe −(α+β)tβ − βe −(α+β)t α + βe −(α+β)t(on peut remarquer que P t est bien une matrice stochastique).En posant λ = −(α + β) on arrive à :P t = e tG = I + etλ − 1Gλ6.3 Résolution des èquations de Chapman-Kolmogorovpar la méthode de différences finies de Newton(Putzer)La formule de la section precedente se generalise en fait pour chaque matrice finie G :P t = e tG = I + etλ 1− 1G + exp(tλ)[0, λ 1 , λ 2 ]G(G − λ 1 ) + ...exp(tλ)[0, λ 1 , ...λ j ]G(G − λ 1 )...(G − λ j−1λ 1où les différences finies d’une fonction f(x)[x 1 , , , , x k ] sont définies parf(x)[x 1 ] = f(x 1 ), f(x)[x 1 , ..., x k ] = f(x)[x 1, ..., x k−1 − f(x)[x 2 , ..., x k ]]x 1 − x k120

et le nombre des termes dans la somme est egal au degré du polynôme charactéristique deG.Exercice 6.3.1 Montrez quelim f(x)[x 1, ..., x k ] = f (k) (z)x 1 →z,...,x k →z k!Rq : 1) La formule (6.1) est valable avec des λ i distincts ou pas. Quand il y a confluencedes certaines valeurs propres, les différences finies deviennent des dérivées. En conclusion,l’exponentielle matricielle est donné par un polynome explicite, quand les valeurs propressont connues (par exemple pour des matrices triangulaires ou cycliques).2) La demonstration de ce théorème superpuissant est immédiate ! Il suffit de remarquerque le polynôme dans le coté droit de (6.1) interpole la fonction exponentielle e tλ dansles points λ 1 = 0, ..., λ n , et que si deux fonctions f et g (l’exponentielle et le polynôme)coincident sur ”toutes les valeurs propres” d’une matrice A, alors f(A) = g(A) !3) On peut ecrire (6.1) aussi dans la forme :e tG =n∑ ∏i−1r i (t) (G − λ j )i=1 j=1où r i satsifontr 1 ′ = λ 1 r 1 , r 1 (0) = 0,r 2 ′ = λ 2 r 2 + r 1 , r 2 (0) = 0...r n ′ = λ n r n + r n−1 , r n (0) = 0appellée formule de Putzer.Exercice 6.3.2 Déduisez la distribution cumulative complementaire de Erlang.6.4 Les probabilités transitoires des processus de naissance et mortLe calcul de la distribution stationnaire des processus de naissance et mort de générateur⎛⎞−λ 0 λ 0 0 · · · 0µ 1 −λ 1 − µ 1 λ 1 0 ..G =0 µ 2 −λ 2 − µ 2 .. 0⎜⎝ . 0 µ 2.. ... . ⎟⎠... .. . ..est très simple, en utilisant le système d’équilibre local :π n λ n = π n+1 µ n+1 ⇐⇒ π n+1 = π n ρ n+1 ⇐⇒ π n = π 0n∏121i=1ρ i

Par contre, les probabilités transitoires sont deja assez compliquées à obtenir analytiquementmême dans le cas le plus simple de la file M/M/1 (la marche aléatoire simple en tempscontinu sur N), pour la quelle ils impliquent des fonctions de Bessel.On peut quand même obtenir facilement les transformées de Laplace des probabilitéstransitoires. Illustrons maintenant le calcul des transformées de Laplace, à partir desèquations de Chapman-Kolmogorov.Soit p j (t) := P 0,j (t) les probabilités transitoires en partant de l’état initial i = 0, et soitp j := p ∗ j(s), j = 0, 1, 2, ... leurs transformées de Laplace.Les équations de Kolmogorov P ′ = P G pour la première ligne sontp ′ 0(t) = −λ 0 p 0 (t) + µ 1 p 1 (t), p 0 (0) = 1p ′ j(t) = λ j−1 p j−1 (t) − (λ j + µ j ) p j (t) + µ j+1 p j+1 (t), p j (0) = 0, j = 1, 2...Les transformées de Laplace p ∗ j(s) satisfont une récurrence de deuxième ordre :λ j−1 p ∗ j−1 − (s + λ j + µ j ) p ∗ j + µ j+1 p ∗ j+1 = 0, j = 1, 2...µ 1 p ∗ 1 − p ∗ 0 (s + λ 0 ) + 1 = 0La resolution des récurrences de deuxième ordre (même avec coefficients nonconstants)est toujours possible en itérant. On reorganise la récurrence comme : ”désiré” +”reporté”= ”connu”, en l’occurence :p ∗ j(s + λ j + µ j − µ j+1p ∗ j+1p ∗ jOn arrive ainsi au système :p ∗ 0 =) = λ j−1 p ∗ j−1 ⇐⇒ p∗ jp ∗ j−11s + λ 0 − µ 1p ∗ 1p ∗ 0=λ j−1s+λ j +µ j −µ j+1p ∗ j+1p ∗ j.p ∗ jp ∗ j−1=λ j−1s + λ j + µ j − µ j+1p ∗ j+1p ∗ j, j = 1, ...,En itérant ces récurrences, et en posant σ j = λ j + µ j , j = 0, ..., γ j = λ j−1 µ j , j =1, ..., γ 0 = 1, on obtient une fraction continue pour la transformée de la probabilité deretour en 0 :p ∗ 0(s) ==s + σ 0 −s + λ 0 −1s + σ 1 −γ 1γ 2ps + σ 2 − µ ∗ 3 3 p ∗ 21λ −10 (1 + (s + λ 1 )/µ 1 ) −= Φ ∞ j=01γ js + σ j −1λ 0 µ 1 λ −11 (1 + (s + λ 2 )/µ 2 − ...(6.2)où Φ denote fraction continue. En tronqant la fraction continue au niveau n, et en écrivantceci comme une fraction, on arrive au approximant de Padé.122

Ou, au lieu de tronquer la fraction continue au niveau n, assurons le fait que 0 soitun pole de p ∗ 0(s) (ce qui est necessaire, car lim s→0 sp ∗ 0(s) = π 0 ), en choisissant p∗ n+1commep ∗ nl’únique constante γ n qui rend s une racine du denominateur. Un calcul simple montre quecette constante doit être ρ n+1 =λ nµ n+1, tel que le dernier denominateur inclu soit s + µ n . Lesfractions ainsi obtenues seront de la formeA ns + a n−1(s)b n (s)(6.3)où A n = (1 + ρ 1 + ρ 1 ρ 2 + ... ∏ ni=1 ρ i) −1 sont des approximations de la probabilité stationnaireπ 0 et les transformées inverses de a n−1(s)b n(s)approximent la partie transitoire.Exemple 6.4.1 Pour le cas de la file M/M/1 avec coefficients constants λ i = λ, ∀i ≥ 0, µ i =µ, ∀i ≥ 1, on a µp ∗ 1 − p ∗ 0 (s + λ) + 1 = 0, la normalisationet la récurrence pour j ≥ 1 est :∑p ∗ n(s) = 1/snµ p ∗ j+1 − (s + λ + µ) p ∗ j + λ p ∗ j−1 = 0.Comme une des racines de µα 2 − (µ + λ + s)α + λ = 0 est toujours plus grande que 1,on conclu quep ∗ n(s) = p ∗ 0(s)α 1 (s)α(s) n−1où α 1 (s) = p∗ 1 (s)p ∗(s), et α(s) est l’unique racine de µα2 − (µ + λ + s)α + λ = 0 qui est plus0petite que 1 pour chaque s ≥ 0 (et qui coincide avec la transformée de Laplace V ∗ (s) de la”période occupée” multipliée par µλ −1 ). Finalement, tenant compte de la normalisation etde la première équation, on trouve : α 1 =λ(1−α)s+µ(1−α)= α, etp ∗ n(s) =(1 − α)α(s)n, p ∗s0(s) = 1 − α(s)s=αλ − µα = V ∗µ−11 − V ∗Rémarquons aussi que la fraction continue est periodique :p ∗ 0(s) =1=λs + λ − µλs + λ + µ − µs + λ + µ − µ p∗ 3p ∗ 21s + λ − µα(s)où α satisfait comme avantα(s) =λs + λ + µ − µα(s)Cette approche pourrait rendre possible l’analyse stationnaire et transitoire des marchesunidimensionels nonreversibles (voir Kovchegov (2008) pour le cas reversible, correspondantaux operateurs G symmetrisables), generalisant l’approche de Karlin et McGregor !123

Exercice 6.4.1 Calculer les transformées de Laplace p ∗ j(s), s ∈ N, des probabilités transitoirespour une marche sur les nombres naturels, avec la distribution de chaque pas donnéepar (p 1 , p −1 , p −2 ). Comparer avec (?).BFNote : Dans le cas multidimensionel, les distributions stationnaires des reseaux de Jacksonsont calculables explicitement (même que les marches associées ne sont pas reversibles),mais les probabilités transitoires sont connues dans trés peu de cas !Illustrons maintenant le calcul des transformées de Laplace, à partir des èquations deChapman-Kolmogorov, pour les probabilités q j (t) = P j [τ 0 ≤ t].Les équations de Kolmogorov P ′ = P G pour la première ligne sontq ′ 1(t) = µ 1 − (λ 1 + µ 1 ) q 1 (t) + λ 1 q 2 (t), q 1 (0) = 0q ′ j(t) = µ j q j−1 (t) − (λ j + µ j ) q j (t) + λ j q j+1 (t), q j (0) = 0, j = 2, 3, ...Les transformées de Laplace p ∗ j(s) satisfont une récurrence de deuxième ordre :−µ j q ∗ j−1 + (s + λ j + µ j ) q ∗ j − λ j q ∗ j+1 = 0, j = 2, 3...(s + λ 1 + µ 1 ) q ∗ 1 − λ 1 q ∗ 2 − µ 1 /s = 0124

Chapitre 7Processus de Levy : marchesaléatoires en temps continuMotivation : Les processus de Levy sont la généralisation des marches aléatoiresdiscrètes au cas des temps (et posiblement espace d’états continus).Mais, on a du mal a donner une definition explicite analogue à ”somme des sommandsi.i.d.”. ”Integrale des petits acroissements i.i.d.” ne peut pas être utilisée facilement. Pour ledu mouvement Brownien par exemple, le concept de ”bruit blanc” dB t est assez subtile.addlev7.1 Définition et propriétés de linéarité de processusde LevyOn denotera parX [s,t] := X t − X sl’acroissement/increment d’un processus X sur un intervalle [s, t].Les marches aléatoires discrètes X n , n ∈ N et certaines processus en temps continu X t , t ∈R + que nous verrons plus tard (le processus de Poisson composé, le mouvement Brownien, ...)partagent la proprieté d’avoir des increments independants X [s,t] sur d’intervalles disjoints,et avec une distribution qui depend seulement de la longueur t − s de l’intervalle (et pas dupoint initiale s). Ces propriétés fournissent la définition des processus de Levy :Définition 7.1.1 Un processus X t s’appelle processus A.S.I. (à acroissements/incrementsstationnaires et independants) si :– L’increment X [t,s] := X t − X s sur un intervalle [s, t] est independant des incrementssur d’autres intervalles [s ′ , t ′ ] disjoints de [s, t].– La distribution du increment X [s,s+t] = X s+t − X s est identique à la distribution duincrement initiale X [0,t] = X t − X 0 , pour chaque s ∈ R + .Exercice 7.1.1 Verifier que le mouvement lineaire X tcomposé satisfont ces proprietées.= c t et le processus de PoissonNote : En temps discret, les processus i.s.i. s’apellent marches aleatoires et en tempscontinu, processus de Levy. Nous utiliserons les deux termes commes synonimes.Les exercises suivants montrent que les propriétés ci-dessus impliquent quel’espérance ,variance, et la fonction génératrice des cumulants des processus de Levy sont des fonctionsadditives en temps.Exercice : Montrez que si Y t est un processus de Levy, alors :125

a) m(t) := EY t satisfait m(t + s) = m(t) + m(s)b) v(t) := Var Y t satisfait v(t + s) = v(t) + v(s)c) Etablissez la linearité de ces fonctions : m(t) = tEY 1 , v(t) = tVar Y 1 , pour des tempst rationnels.En généralisant :Théorème 7.1.1 Pour chaque t, s ∈ R + :a) l’esperance d’une marche aleatoire/processus de Levy X t avec X 0 = 0 m(t) = EX tsatisfait :m(t + s) = m(t) + m(s), m(t) = tm(1)b) la variance v(t) = E(X t − e t ) 2 satisfait :v(t + s) = v(t) + v(s), v(t) = tv(1)c) La fonction génératrice des moments d’un processus de Levy X t avec X 0 = 0 M(t) =M θ (t) := Ee θX tsatisfait :M(t + s) = M(t) M(s)pour chaque t, s où elle est bien definie.d) Déduisez qu’elle doit être de la forme : M(t) = e tκ(θ) pour une certaine fonction κ(θ)(appellée exposant de Levy, où fonction génératrice des cumulants).Note : La fonction génératrice des cumulants characterise uniquement un processus deLevy.Solution a) (b)) We decompose Y (t + s) = Y (s) + (Y (t + s) − Y (s)) and taking expectations(variances) we find that both fonctions satisfy the property f(t + s) = f(t) + f(s)which implies linéarité.c) The independence and stationarity of increments of a processus de Levy imply thatM(t) = Ee θY tsatisfies the identity M(t + s) = M(t) M(s). Taking logarithms we find thatf(t) = LogM(t) satisfies the identity f(t + s) = f(t) + f(s).Finalement, pour conclure la linearité, on s’appuie sur :Lemme 7.1.1 Si une fonction continue (en fait, mesurable suffit) f(t) : R + − > R satisfaitpour chaque s, t, l’identitè :f(t + s) = f(t) + f(s)alors f(t) est une fonction linéaire, i.e.f(t) = f(1)t.7.2 Exemples de processus de LevyNous avons deja vu le processus de Poisson et le processus de Poisson composé S t =∑ Nti=1 Z i, où Z i sont des variables aléatoires i.i.d.(independentes et idéntiquement distribuées)et N t est un processus de Poisson, independant de Z i .Un autre exemple de processus de Levy est le mouvement Brownien.Définition 7.2.1 Un processus de Levy avec fonction génératrice des cumulants quadratiqueest appellé mouvement Brownien.κ(θ) = µθ + σ22 θ2126

Un résultat important, mais difficile à démontrer, est :Théorème 7.2.1 Un processus de Levy a des chemins continus ssi sa fonction génératricedes cumulants est quadratique κ(θ) = µθ + σ22 θ2 .La partie qui reste d’un processus de Levy apres avoir enlevé la composante Browniennneest un processus des sauts pure, mais avec espace d’états continu R.Un exemple très important hystoriquement de processus de Levy est le processus deréserves (ou de risque) d’une compagnie d’assurance.Définition 7.2.2 Le processus de risque de Cramér Lundberg est un processus de la forme∑N tX t = X 0 + c t − Z i (7.1)où C i sont des variables aléatoires i.i.d. nonnegatives, et N t est un processus de Poissonindependant de C i .Rq : Ce processus vit naturellement en temps continu (du à la tendance lineaire), saufs’il est observé que pour t ∈ N et si c est un entier.Les processus de Levy fournissent un cadre unificateur pour les exemples precedents.En fait, la decomposition de Levy-Khinchine montre que chaque processus de Levy est lasomme d’un mouvement Brownien avec tendance et d’une limite des processus de Poissoncomposés.Exercice 7.2.1 Calculer EX α t , α = 2, 4 pour le mouvement Brownien et pour le processusde Poisson composé.i=1127

limbrChapitre 8Marche aléatoire infinitesimale,mouvement Brownien etmathématiques financièresLe mouvement Brownien est un processus très important en plusieurs applications,comme par exemple les mathémathiques financières , mais il est aussi assez difficile à étudierrigoureusement (voir notes de Chang, par exemple). Comme l’étude du mouvement Browniencomporte beaucoup des points fins (par exemple, l’existence, la continuité et differentiabilitédes chemins, etc...), on va se contenter ici de donner seulement quelques idées principales,l’approche étant d’approximer ce processus par des marches aléatoires discrètes ”infinitesimales”(judicieusement choisies).Q : Comment assurer qu’une marche aléatoire infinitesimale ”vue de loin” aune limite ?R : En assurant que les limites de l’espace d’états et de la variance sont finies, non-zero.Exemples des quelques marches aléatoire infinitesimales qui approximent le mouvementBrownien.– La marche simple asymmetrique, sur un maillage regulier. Soit X t = X (h,D)t =X 0 + ϵ 1 + ϵ 2 + · · · + ϵ n , n = [t/h], une marche aléatoire “infinitesimale” sur R,i.e. une marche avec des petits increments (indépendants) de loi P [ϵ n = D] =p, P [ϵ n = −D] = q = 1 − p, arrivant aprés des intervalles de longueur h.La limite des processus X (h,D)t quand h, D → 0 (et n → ∞, pour t fixe), est un desprocessus les plus utiles dans la modélisation stochastique. Pour assurer l’existenced’une limite, il est necessaire que l’ésperance et la variance de X (h,D)t convergent. Ona :EX t − X 0 = [t/h](p − q)D ∼ t(p − q)(D/h), V ar(X t − X 0 ) = [t/h](D 2 − D 2 (p − q) 2 )Pour convergence de ésperance, il est necessaire que (p − q)D = O(h), et pour convergencede la variance, il est necessaire que D 2 = O(h). En posant D 2 = σ 2 h etp − q = µ h = µ D ⇐⇒ p, q = 1 ± µ D, on conclut que sous ces conditions, ilD σ 2 2 2σ 2suit que :lim EX t − X 0 = µt,h→0lim V ar(X t − X 0 ) = tσ 2h→0– La marche simple, symmetrique, avec tendance. On obtient la même limite enprenant p = q = 1/2, et dX t = µh + Z i .128

– La marche Gaussienne. Supposons µ = 0, σ = 1, et Z i = √ hN i , avec N i variablesGaussiennes standards. Cette construction implique pour X t −X 0 une Loi Gaussienne,de variance h⌊t/h⌋ → t.8.1 Le mouvement Brownien standardSupposons maintenant pour simplicité µ = 0 (donc une marche symmétrique) et σ = 1.On peut montrer que la limite de X (h,√ h)t quand h → 0, appellée mouvement Brownien, existevraiment, et que ce processus et qu’il s’agit d’un processus de Markov en temps continu età espace d’états continu (en fait, un processus de Levy).Théorème 8.1.1 Il existe un processus P.A.I. (unique) X t ∈ R, τ ∈ R + ,tq :1. les increment X [t,s] := X t −X s sur un intervalle [s, t] sont independants des incrementssur d’autres intervalles [s ′ , t ′ ] disjoints de [s, t].2. L’ésperance et la variance de X t conditionné par X 0 sont :EX t = 0,V arX t = t3. La distribution du acroissement X [s,s+t] = X s+t − X s est identique à la distribution duacroissement initial X [0,t] = X t − X 0 , pour chaque s ∈ R + ; il s’agit d’une distributionGaussienne N (0,t) , avec fonction génératrice de moments e t u22 .4. Le processus X t a des trajectoires continues.Exercice 8.1.1 Demontrer le théorème de limite centrale :n∑(Z i − EZ i ) = N (0,Var Z)(d)limn→∞ n−1/2i=1où lim (d) denote la convergence des distributions, et point 3) ci-dessus, en utilisant :1. le fait que la convergence des distributions est equivalente a celle des fonctions génératricedes moments, et2. le fait que Ee uN 0,v= e vu2 /2 , i.e. la variable normale a tous les cumulants d’ordre plusgrand que trois nuls.Exercice 8.1.2 Verifier la convergence en distribution des marches aleatoires infinitesimalesasymetriques vers le mouvement Brownien. En deduire sa fonction generatrice des cumulants.Définition 8.1.1 a) Le processus de Levy B(t) avec fonction génératrice des cumulantsquadratique de la forme :κ(θ) = 1 2 θ2s’appelle mouvement Brownien standard.b) Le processus de LevyB µ,σ 2(t) = µt + σB(t)avec fonction génératrice des cumulants quadratique de la forme :κ(θ) = µθ + σ22 θ2s’appelle mouvement Brownien à tendance µ et variance σ 2 .129

Exercice 8.1.3 Calculer EX α t , α ∈ N pour le mouvement Brownien.Exercice 8.1.4 Considerez la marche aleatoire obtenue en discretisant le mouvement Brownienstandard avec h = 1, ∆ = 1, i.e. avec p[Z i = k] = cte −k2 /2 . Calculer la constante denormalisation ct de cette distribution. Combien des chiffres sont exactes ? R : 2.506628288.2 Problèmes de premier passage de Dirichlet et PoissonDecouvrons maintenant le générateur du mouvement Brownien, en étudiant le problèmede premier passage pour les marches aléatoires infinitesimales.Exercice 8.2.1 La marche symmetrique. Soit X t = X (h,D)t = X 0 + ϵ 1 + ϵ 2 + · · · + ϵ n , n =[t/h], une marche aléatoire “infinitesimale” symmetrique sur R, i.e. une marche avec despetits increments (indépendants) de loi P [ϵ n = D] = 1/2 = P [ϵ n = −D], arrivant aprésdes intervalles de longueur h. On supposera, en suivant Einstein, h = D 2 = t/n. Nousconsiderons le processus X t conditionné sur X 0 = x pour x ∈ [0, B], jusq’au temps d’arrêtT = min[T 0 , T B ] quand le processus sort de cet intervalle.1. Pb. de Dirichlet. Obtenez l’équation de récurrence et les conditions frontière satisfaitespar b x = P x {X T = B} = E x I {XT =B}.2. Obtenez une équation différentielle qui est la limite de la récurrence, quand h → 0.3. Résolvez léquation différentielle.4. Pb. de Poisson. Résolvez léquation différentielle satisfaite par la fonction t x = E x [T ]}5. Pb. de Dirichlet avec discount (*). Résolvez les équations différentielle satisfaitespar les fonctions m x = E x e −sT , f x = E x e −sT I {XT =B}}. En deduire t (B)x =E x [T I {XT =B}}].R : c)e √ sx + e √ s(B−x)1 + e √ sB= 1 + st x + s22x(B 3 − 2Bx 2 + x 3 )12+ ...e √ s(B+x) − e √ s(B−x)e 2√ sB− 1= x B + sx(x2 − B 2 )6B+ ...Exercice 8.2.2 a) Calculez le temps esperé pour le mouvement Brownien reflechi en 0 jusqu’autemps de premier passage en B.b) Même pb. pour la marche simple symmetrique.R : a) t x = B2 −x 22b) a) t x = frB(B + 1) − x 2 2Exercice 8.2.3 La marche simple asymmetrique. Soit X t = X 0 + ϵ 1 + ϵ 2 + · · · + ϵ n unemarche aléatoire infinitesimale asymmetrique sur DZ, i.e. une marche avec (ϵ n ) une suitede variables aléatoires réelles indépendantes de même loi P [ϵ n = D] = p et P [ϵ n = −D] =q = 1 − p, ou p, q = 1 ± µ D, D 2 = σ 2 h, et h → 0, n → ∞ et n h = t.2 2σ 2Pour tout x, l, u de la forme kD, k ∈ Z, considerons le processus ˜X t conditionné sur˜X 0 = x pour x ∈ [l, u], jusq’au temps d’arrêt τ quand le processus sort de l’intervalle [l, u].130

1. Montrez que l’ésperance et la variance de la marche aléatoire infinitesimale X t approchentceux d’un mouvement Brownien B µ,σ 2(t) de tendance µ et variabilité σ (B µ,σ 2(t) = x 0 + σB t + µt, où B t est le mouvement Brownien standard.)2. Montrez que la fonction génératrice de moments de X t , donné par Ee θX t, convergevers e tκ(θ) où κ(θ) = µθ + σ2 θ 2, et donc elle exhibe la linéarité en t charactèristique aux2processus de Levy.3. Obtenez l’équation de récurrence et les conditions frontière satisfaites par p x =P x { ˜X τ = K}, t x = E x τ, et f x = E x ˜Xτ et d x = E x e −rτ . Indication : Approximez par lamarche aléatoire “infinitesimale” X t , conditionez sur le premier pas ϵ 1 et utilisez lesrelations :E x [g(X τ ) | ϵ 1 = ±1] = p x±1 , E x [ ∑ τ−10c(X i ) | ϵ 1 = ±1] = c(x) + t x±1 , ...4. Résolvez les équations de récurrence qui en résultent pour p x , t x , f x et d x dans le casp = q = 1/2.5. (a) Obtenez l’équation différentielle et les conditions frontière satisfaites par le coûttotal esperé∫ τf σ (x) = E x c( ˜X t )dt(où ˜X t est un mouvement Brownien de tendance µ et variabilité σ). Indication :Prenez la limite d’une équation de récurrence semblable a celle obtenue dans leproblème 1 (a)i.(b) Résolvez l’équation dans le cas l = 0, u = ∞, µ < 0, pour la fonction de coûtunitaire c(x) = 1. Est-ce que le résultat depend de σ ? Donnez une interpretationgeometrique du cas σ = 0.(c) Résolvez l’équation dans le cas l = 0, u = ∞, µ < 0, pour la fonction de coûtunitaire c(x) = x. Donnez une interprétation geometrique du cas σ = 0. Quelleest la limite lim x→∞f σ (x)f 0 (x) ?8.3 La formule de Black-Scholes pour les options d’achatLe mouvement Brownien exponentiel est le premier modèle à ramener des résultatsintéréssants dans les mathémathiques financières .1. Calculez l’esperance du mouvement Brownien exponentiel S t = s 0 e B (µ,σ 2 ) (t) .2. Donnez une formule pour sa distribution cumulative, en termes de la = distributioncumulative Φ(x) d’une variable normale standardisée.3. Calculez le ”mode” de S t (le point où la densité prend sa valeur maximale).4. Calculez la ”mediane” de S t .5. Supposant r = 0, est-ce que un actif évoluant comme un mouvement Brownien exponentielS t = s 0 e B (µ,σ 2 ) (t) sera un bon investissement si − σ2 < µ < 0 ?26. a) Calculez lésperance actualisée d’une option d’achat Ee −rT (S T − K) + epour un actifS T évoluant comme un mouvement Brownien exponentiel S t = s 0 e B (µ,σ 2 ) (t).b) Supposant que µ = r − σ2 (”neutralité du risque”), deduisez la formule de Black2Scholes :0c(T, s 0 , K, σ, r) = S 0 Φ( log ( S 0K ˜ ) + V TT 2√VT) − K ˜ T Φ( log ( S 0K ˜ ) − V TT 2√ )VT131

Solution :1. ES 0 e (g t+σB(t)) = ES 0 e g t e σ √ tN = S 0 e g t e 1 2 σ2t = S 0 e (g+ 1 2 σ2 )t2. P{S t ≤ x} = P{S 0 exp (g t + σB t ) ≤ x} = P{+σ √ tN) ≤ ln( x S 0) − g t} = Φ( ln( x S 0)−g t3. The density p(x, t) is proportional to (called lognormal density). LettingE(x) denote the exponential (so that p(x, t) = E(x) ) and setting the derivative to 0 wexget E(x)(− (ln(x)−gt) 1x − 1) = 0 and we find that the mode is )tσ 2 t x e(g−σ2 .4. We have to find m so that P{S t ≤ m} = P{e gt+σBt ≤ m} = P{gt + σB t ≤ ln(m)} =P{σB t ≤ ln(m) − gt} = 1. Since σB 2 t is a symmetric normal variable, its median is 0and the last equation can only be satisfied if ln(m) − gt = 0 and m = e gt .(ln(x)−gt)2e− 2σ 2 txσ √ t132

Chapitre 9Laplace, Thiele, Levy et BachelierPierre-Simon de Laplace, 1749-1827, mathématicien, astronome et physicienfrançais, a profondément influencé les mathématiques, l’astronomie, la physique et la philosophiedes sciences de son siècle.Son livre Théorie analytique des probabilités, Tome VII des uvres complètes, Paris, 1820,marque le début des probabilités modernes.Après des études brillantes à l’Université de Caen de 16 à 18 ans, il obtient avec le soutiende d’Alembert un poste à l’Ecole militaire. Ses travaux en mathématiques et astronomielui valent d’entrer à 24 ans à l’Académie des Sciences, o l’étendue de son savoir fait impression.Son travail vers 1782 avec Lavoisier sur la calorimétrie, sa théorie de la capillarité etses formules d’électromagnétisme ancrent sa réputation parmi les chimistes et physiciens.L’essentiel de son oeuvre scientifique s’attache à fournir un fondement solide à sa théorie demécanique céleste, traitant de la stabilité du système solaire, de son origine, et qui motiveraen partie sa théorie des probabilités. Il participa à l’organisation de l’Ecole Polytechnique etde l’Ecole Normale. Il fonda avec Berthollet la Société d’Arcueil, creuset de rencontre entrejeunes physiciens et chimistes éminents et scientifiques proches du pouvoir. Politiquementopportuniste, il saura s’attirer aussi bien les faveurs de Napoléon que par la suite celles deLouis XVIII qui le fit pair et marquis.En tant qu’examinateur du Corps Royal d’artillerie, Laplace fit passer avec succès le testen 1785 à un jeune homme de 16 ans : Napoléon Bonaparte.Laplace est nommé ministre de l’intérieur par Napoléon, puis sénateur. C’est égalementNapoléon qui le nomme Comte de l’Empire.La carrière de ministre de Laplace sera courte (6 semaines ?), et Napoléon le démettrarapidement pour les raisons qu’il expose dans ses mémoires : ”Géomètre de premier rang,Laplace ne tarda pas à se montrer administrateur plus que médiocre ; dès son premier travailnous reconnmes que nous nous étions trompé. Laplace ne saisissait aucune questionsous son véritable point de vue : il cherchait des subtilités partout, n’avait que des idéesproblématiques, et portait enfin l’esprit des ‘infiniment petits’ jusque dans l’administration.”Mais la versatilité politique de Laplace finira par l’emporter et lui faire signer le décretde bannissement de Napoléon à la chute de celui-ci en 1814.Rapporté par Victor Hugo : M. Arago avait une anecdote favorite. Quand Laplace eutpublié sa Mécanique céleste, disait-il, l’empereur le fit venir. L’empereur était furieux. ” ?Comment, s’écria-t-il en apercevant Laplace, vous fait tout le système du monde, vous donnezles lois de toute la création et dans tout votre livre vous ne parlez pas une seule fois del’existence de Dieu ! Sire, répondit Laplace, je n’avais pas besoin de cette hypothèse.”133

Remarque de Laplace à Napoléon, après que celui-ci a rapporté quelques résultats nouveaude géométrie élémentaire : ”la dernière chose que nous attendions de vous, Général, estune leçon de géométrie !”Thorvald Nicolai Thiele, 1838 -1910, astronome, actuaire et mathématicienDanois est connu surtout pour ses travaux dans les domaines des statistiques, interpolationet le problème à trois corps. Il fut le premier à proposer une théorie mathématiquedu mouvement Brownien. Thiele a introduits les cumulants et (en danois) la fonctions devraisemblance, ces contributions n’ont pas été crédités à Thiele par Ronald A. Fisher, quia néanmoins placé Thiele dans sa liste des plus grands statisticiens de tous les temps surla bases d’autres contributions de Thiele. Thiele a également été le fondateur et directeurmathématique de la Société d’assurance Hafnia et a dirigé la fondation danoise des actuaires.C’est grce à son travail dans le domaine des assurances qu’il est entré en contactavec le mathématicien Jrgen Pedersen Gram.Paul Pierre Lévy, 1886- 1971, mathématicien français, figure, avec mile Borel,Andre Kolmogorov, Norbert Wiener, Joseph Leo Doob et Kiyoshi Ito, parmi les fondateursde la théorie moderne des probabilités. On lui doit aussi des considérations importantes surles lois stables stochastiques qui portent son nom ainsi que sur les martingales.Louis Bachelier, mathématicien français, 1870-1946 Issu d’une famille de commerçantset financiers habitués aux opérations boursières, Louis Bachelier, orphelin à 19 ans,poursuit tardivement des études de mathématique et physique à Paris (Sorbonne) et soutient(1900), devant Henri Poincaré, une thèse de doctorat, intitulée Théorie de la spéculation,selon laquelle les fluctuations des cours de la Bourse s’apparentent au mouvement brownien(équation de la chaleur) et peuvent être prédits en partie par le calcul des probabilités : lemarché boursier obéit, à son insu, aux lois de probabilités .Toutefois, cette théorie, sans doute trop avant-gardiste n’eut que peu d’influence dans lemonde scientifique de l’époque. Il fallut attendre les années 1960 avec le développement dela recherche opérationnelle pour que son uvre soit vraiment reconnue par des économistesaméricains tels que Paul A. Samuelson du MIT (Massachusetts Institut of Technology),prix Nobel d’économie (1970). Bachelier est aujourd’hui considéré comme le fondateur desmathématiques financières modernes.Il faut aussi tenir compte du fait, qu’au début du 20è siècle, la tendance est au formalisme,tendance principalement menée par Hilbert. Le calcul des probabilités n’est pasencore axiomatisé : ce sera l’oeuvre de Kolmogorov (1933), en Russie (le calcul ces probabilitésdevient une branche de la théorie de la mesure) et de Paul Lévy, en France, avec quiBachelier eut des rapports tendus (non reconnaissance de ses travaux). En Janvier 1926,candidate à Dijon, Bachelier est blackboulé suite à l’intervention de M. Gevrey et P. Levy,voir http ://hal.archives-ouvertes.fr/docs/00/44/75/92/PDF/BACHEL2.PDF134

Chapitre 10Qu’est ce qu’il y aura dans l’examen ?10.1 Examen d’entraînement 1.1. L’espace des états d’une chaîne est S = 1, 2, 3, 4, 5, 6, 7 et la matrice de transition est⎛⎞1 0 0 0 0 0 0a 0 b 0 0 1 − a − b 00 0 0 1 1 1 13 6 6 3P =0 1 0 0 0 0 0⎜ 0 1 0 0 0 0 0⎟⎝1 10 0 0 0 0 ⎠2 21 30 0 0 0 04 4(a) Tracez le graphe de communication et identifiez les classes de la chaîne. Classifierles classes en récurrentes et transitoires. Y’ a-t-il des classes périodiques ?(b) Trouvez la distribution stationnaire des classes récurrentes.(c) Trouvez la limite quand n → ∞ de la matrice de transition apres n étapes P n2. Pour une marche aléatoire X t , t = 0, 1, 2, ... sur le graphe cubique ci-dessous,calculer :BUAOFigure 10.1 – Marche aléatoire simple(a) L’ésperance en sortant de U du nombre de pas T O jusq’au noeud O. Indication :Utiliser la symmetrie.(b) Les probabilités stationnaires du chaque noeud.135

(c) L’ésperance en sortant de O du nombre de pas ˜T O jusq’au premier retour à O.(d) La probabilité p A = P A {X T = U}, ou T = min[T U , T O ].(e) La probabilité p k en partant de O que la marche visite U exactement k fois(k = 0, 1, 2, ...) avant le premier retour à O. Vérifier la somme ∑ ∞k=0 p k.3. Soit (X n ) n∈Nune chaîne de Markov homogène sur l’ensemble({1, 2}, de)distribution1 − a ainitiale c 0 = (p, 1 − p) et de matrice de transition P =b 1 − b(a) Calculez P{X 0 = 2, X 1 = 2}, c 1 (2) = P{X 1 = 2} P{X 0 = 2|X 1 = 2}, et P{X 0 =2, X 1 = 1, X 4 = 2}.(b) Trouvez toutes les lois stationnaires π de la chaîne donnée (s’il y en a plusd’une seule). Spécifiez, en justifiant, si la limite lim n→∞ c 0 P n existe pour lachaîne donnée. Si c’est le cas, quelles sont les limites lim n→∞ P{X n = 2},lim n→∞ P{X n = 2, X n+1 = 2} et lim n→∞ P{X n = 2|X n+1 = 2} ?(c)Étant donné des coûts de stockage per unité de temps h(1), h(2), calculez le coûtmoyen stationnairen∑Eπ n −1 h(X i )ou Eπ denote l’espérance avec distribution initiale de X 0 egale à π.4. Soit Y i , i = 1, ..., une suite des lancées de dé indépendantes. Déterminer dans lesexemples suivantes si la suite X n est Markov, en donnant (si possible) la matrice detransition et le graph de communication. Classifier les classes en récurrents et transitoireset calculer si possible la limite P = lim n→∞ P n(a) Le maximum de résultats X n = max 1≤i≤n Y i(b) Le nombre cumulatif de non 6, aprés le temps n, jusqu’au prochaîne 6.(c) X n = Y n + Y n−1(d) X n = Max 1≤i≤n S i , ou S i = ∑ ik=1 Y i et(e) X n = S 1 + S 2 + ... + S nSolutions :1. (a) Classes récurrentes : (1) et (6, 7). Classe transitoire, nonpériodique : (2, 3, 4, 5).(b) Les distribution stationnaire des classes récurrentes sont (1) et ( 1 3 , 2 3 ).(c) La limite quand n → ∞ de la matrice de transition apres n étapes P n estoù b 2,1 = 2a2−b , b 3,1 =⎛P ∞ =⎜⎝i=11 0 0 0 0 0 0b 2,1 0 0 0 0 1b 23 2,6b 3,1 0 0 0 0 1b 23 3,6b 2,1 0 0 0 0 1b 23 2,6b 2,1 0 0 0 0 1b 23 2,61 20 0 0 0 03 31 20 0 0 0 03 33 b 2,63 b 3,63 b 2,63 b 2,6a et b 2−b 2,6 = 1 − b 2,1 , b 3,6 = 1 − b 3,1 .136⎞⎟⎠

3) (a)(1 − p)(1 − b)(1 − p)(1 − b) + p a(1 − p)(1 − b)(1 − p)(1 − b) + p a(b) Loi stationnaire : ( ba+b , aa+b )aa + ba(1 − b)a + b1 − b(c)ba + b h(1) + aa + b h(2)10.2 Examen d’entrainement 21. Soit X t = x + ∑ ti=1 Z t une marche sur les nombres naturels, avec la distribution dechaque pas Z t donnée par p k = P [Z t = k], avec : { p 1 = 6, p 7 −1 = 0, p −2 = 7} 1 . a) Verifiersi E[Z t ] > 0. b) Calculer les probabilités de ruine ψ x , x ∈ N. c) Vérifier la positivité durésultat.d) Calculer l’espérance du temps de ruine pour la marche sur les nombres naturels,avec la distribution de chaque pas Z t donnée par : { p −1 = 6, p }7 1 = 0, p 2 = 1 7e) (*) Calculer l’espérance du temps de ruine pour la marche avec la distribution dechaque pas Z t donnée par : { p 1 = 6, p 7 −1 = 0, p −2 = 7} 1 , en supposant que ce temps estfini (en conditionnant sur le cas où la ruine arrive).2. La file d’attente d’un bus avec capacité infinie. Soit X t une file d’attenteM(λ)/M(µ)/1, dans la quelle le serveur sert chaque fois simultanément tous lesclients qu’il trouve en attente dans le tampon (arrivés dans la file après le début deson dernier service).(a) Dessinez le graph de transitions du processus X t , et donnez sa matrice génératrice.(b) Indiquer les valeurs des probabilités ˜λ et ˜µ pour que le nombre de clients augmente/diminue,au moment du premier saut à partir d’un état n ≥ 0.(c) Calculez la distribution stationnaire de X t .(d) Formulez un système de conditionnement pour les espérances t k en sortant de kdu temps T k jusqu’a l’arrivée en 0 (la pause café du serveur).(e) Calculez l’ésperance t 0 du temps stationnaire (avec distribution initiale stationnaire)T S jusqu’à la première arrivée en 0.137

(f) Calculez, en utilisant un système de conditionnement, l’ésperance en sortant de 0du nombre des pas ˜T 0 jusqu’au premier retour en 0.(g) (*) Reprenez les questions précédentes pour une file d’attente une chaîne de Markovreprésentant le nombre de clients en attente dans un arrêt de bus, en tempsdiscret, en supposant qu’à chaque instant t = 1, 2, .. une seule personne arrive (oupas) avec probabilité p < 1, et en suite le bus arrive (ou pas) avec probabilitéq < 1, et prend tous les voyageurs (le dernier arrivé inclu). Dessinez le graph detransitions de ce processus, en indiquant les probabilités λ et µ pour que le nombrede voyageurs augmente et diminue respectivement, ainsi que la probabilité z pourque ce nombre reste inchangé. Donnez la matrice des probabilités de transitionpour la chaîne X t .Reprenez ensuite les autres questions ci-dessus.3. On lance une pièce de monnaie biaisée, avec la probabilité de sortir face égale à qet celle de sortir pile égale à p = 1 − q, jusqu’à ce qu’on obtient une suite pile-facepile(arrivèes consécutivement). Trouvez l’espérance t du temps jusqu’à l’arrêt, (i.e. lenombre de jets N, en incluant le dernier). Indication : On peut utiliser un processusde Markov qui retient l’information minimale nécessaire pour décider si l’événementdésiré a eu lieu (et qui contient dans ce cas l état final desiré, et tous ses prefixes).Reprenez cette question, en supposant que les temps d’arrivée d’un nouveau résultatont des distributions exponentielles avec des paramètres λ P , λ F , λ P F (qui dependentdes dernières deux états).4. Soit X = (X t ; t ≥ 0) un processus de Markov en temps continu sur l’ensemble N, avecgénérateur infinitésimal Gf(x) = µ 1 (f(x+1)−f(x))+µ −1 (f(x−1)−f(x))+µ −2 (f(x−2) − f(x)), x ≥ 2 avec µ 1 = 1/2, µ −1 = 1/8, µ −2 = 3/8, et avec les passages impossiblesen 1 et 0 étant anulés (i.e. Gf(1) = µ 1 (f(2) − f(1)) + µ −1 (f(0) − f(1)) et Gf(0) =µ 1 (f(1) − f(0))). Resolvez les équation de récurrence Gc(x) + h(x) = 0, x ≥ 1, c(0) = 0satisfaites par le temps de vidage T = T 0 = inf{t : X(t) ≤ 0} et le coût de vidagec(x) = E x∫ T0 X sds, obtenues respectivement pour h(x) = 1 et h(x) = x. Montrez quec(x) = t(x)( x + 12+ γ)ou γ = E ss X t est le côut moyen stationnaire de ce processus. Donnez une explicationprobabiliste de la partie w(x) = t(x) x+12= c(x) − γt(x).5. On lance une monnaie biaisée jusqu’à la premiére fois quand une pile arrive après unnombre impaire de faces. Trouvez l’espérance n du nombre de pas de ce jeu, tenantcompte aussi de la dernière pile.Solutions :1. Les probabilités de ruine satisfont ψ x = 6 7 ψ x+1 + 1 7 ψ x−2, x ∈ N. Elles sont des combinaisonsde puissances ρ x , avec ρ une racine de67 ρ3 − ρ 2 + 1 7 = (ρ − 1)(6 7 ρ2 − 1 7 ρ − 1 7 ) = 6 (ρ − 1)(ρ − 1/2)(ρ + 1/3)7ψ x = A 1 ( 1 2 )x + A 2 ( −13 )x satisfait ψ 0 = ψ −1 = 1 ssi A 1 = 4/5, A 2 = 1/5.138

2. (a)⎛G =⎜⎝⎞−λ λ 0 · · ·µ − (λ + µ) λ 0µ 0 − (λ + µ) λ 0.µ 0 .. . .. . .. ⎟⎠. .. . .. . ..Le graph de communication est :λ λ λ λ0 1 2 nµµ µµFigure 10.2 – Exe 2 : Le serveur sert tous les clients(b) En temps continu, ˆλ =λ , ˆµ = µ .λ+µ λ+µEn temps discret, la pb. que la file augmente est ˆλ = p(1 − q) et la pb. quela file se vide est µ = q. La pb. que la file reste inchangé est z 0 = 1 − λ, et∀n ≥ 1, z n = z = 1 − λ − µ = (1 − p)(1 − q).(c) En temps discret, on trouve π i = λπ i−1 + zπ i ⇐⇒ π i = ˜λπ i−1 , i = 1, 3, ..., avec˜λ =λ , et donc π λ+µ i = ˜λ i π 0 , où la constante de normalisation est π 0 = 1−˜λ = µ . λ+µEn temps continu, même reponse.(d) Le système λt k+1 − (λ + µ)t k + 1 = 0, k = 1, 2, ... donne t 1 = t 2 = ... = µ −1 .(e) t 0 = t (0) + t 1 où t (0) = λ −1 Remarquez l’identité t 0 π 0 = t (0) valable pour toutes leschaînes ergodiques.Par exemple, en ajoutant arrivées des couples à taux λ 2 t 0 = t (0) + µ −1 où t (0) =(λ + λ 2 ) −1 1, et π 0 = = µ1+µ −1 /t (0) µ+λ+λ 2⇐⇒ π 0 (λ + λ 2 ) = (1 − π 0 )µ.Note : Par recurrence, il suit que π 0 = ˆµ =µµ+λ+λ 2, π 1 = ˆλπ 0 =λµ+λ+λ 2π 0 ,π 2 = (ˆλ 2 + ˆλ 2 )π 0 , π 3 = (ˆλ 3 + 2ˆλ 2ˆλ)π0 , )... En general, le coefficient de ˆλ k 2ˆλ m en π noù n = m + 2k est le nb. des placements des k blocques contigus de longueur 2parmi n places.3. Le processus de Markov qui retient l’information minimale est donné par le ”mot”d’arrêt désiré, et par tous ses prefixes. On peut aussi considerer le processus de Markovsur des états specifiant les deux dernièrs résultats posibles : {P F }, {∗P }, {P c F }, ∅. Lesdeux inconnues x 1 = x {∗P } , x 2 = x {P c F } satisfont :x 1 = 1 + px 1 + q ∗ 0, x 2 = 1 + px 1 + q ∗ x 2 q ⇐⇒ x 1 = q −1 , x 2 = x 1 + p −1 = q −1 + p −14. Pour c(x) = E x [ ∫ T0X(t)dt] (coût totale de stockage) on trouve(Gc)(x) + x = 0c(0) = 0c(x)accroit non-exponentiellement quand x → ∞139

Comme Gx = λ−µ et Gx 2 = 2x(λ−µ)+λ+µ, on trouve par la methode des coefficientsindeterminés que la solution est c(x) =x2 + x(µ+λ)2(µ−λ) 2(µ−λ) 2On trouve que c(x) = c r (x) + γt(x). Interpretation : La première partie, c r (x) =t(x)( x+1 ) est la solution ”fluide”, qui utilise precisement la moyenne arithmetique des2valeurs (x, x − 1, ..., 1), comme si avant le vidage on aurait visité seulement ces valeurs,pour des durées de temps egaux. La deuxième partie sugère un ”remplacement de lavaleur moyenne a long terme 0 (”vue de loin”) dans la solution fluide par la valeurmoyenne réelle a long terme γ.5. Considerons le processus de Markov sur les états : {F iP }, {P }, {F i}, {F p}, où le dernierétat inclu le cas ∅. Soit N le nombre de pas jusqu’à la premiére fois quand unepile arrive après un nombre impaire de faces, et x i , i = 1, 2, 3 son espérance, à partirdes états transitoires : x 1 = x {P } , x 2 = x {F i} , x 3 = x {F p} . Les trois inconnues satisfont :x 1 = 1 + px 1 + q ∗ x 2 , x 2 = 1 + q ∗ x 3 , x 3 = 1 + px 1 + q ∗ x 2 =⇒x 3 = x 1 , qx 1 = 1 + qx 2 = 1 + q(1 + qx 1 ) =⇒ x 1 =1 + qq(1 − q)Note : Le conditionnement sur le premier pas ne marche pas. Examinons l’espaced’états :E = {P, F P, F F P, F F F P, F F F F P, ..}en essayant de trouver une decomposition en cas (ou un temps d’arrêt T ) qui permetune approche recursive.Dans le premier, troisième, ...cas, on recommence. Dans le dexième, quatrième, ..., onconclut N = 2, 4, .... Le temps d’arrêt permettant une solution est donc le temps T dela premiére pile. En conditionnant sur T , on trouve :n = E[N] ==∞∑q 2k−1 p(2k) +k=1∞∑q 2k p((2k + 1) + n)k=02pq(1 − q 2 ) 2 + p(1 + q2 )(1 − q 2 ) 2 + n 11 + q = p(1 − q) 2 + n 11 + qoù on a utilisé ∑ ∞k=1 2kq2k−1 = ( 1 ) ′ =1−q 22q , ∑ ∞(1−q 2 ) 2 k=0 (2k + 1)q2k = 1 −(1−q) 2(1+q 2 )(1−q 2 ) 2 . On retrouve finalement : n = 1+qq(1−q)Examen de processus stochastiques 12 Mai 2010Tous les documents d’aide sont interdits2q(1−q 2 ) 2 =1. L’espace des états d’une chaîne est S = 1, 2, 3, 4, 5, 6 et la matrice de transition est⎛⎞1 0 0 0 0 0a 1 0 b c a 2 011P =0 0 0 0 2 211⎜ 0 0 0 0 2 2 ⎟⎝ 0 0 0 0 1 − c 1 c 1⎠0 0 0 0 c 2 1 − c 2où a, b, c, a 1 , a 2 , c 1 , c 2 ∈ [0, 1] et c = 1 − b − ∑ 2i=1 a i.140

(a) Tracez le graphe de communication et identifiez les classes de communication dela chaîne. Classifier les classes en récurrentes et transitoires. Y’ a-t-il des classespériodiques ?(b) Trouvez la distribution stationnaire des classes récurrentes.(c) Trouvez les probabilités d’absorbtion p i,ĵpour chaque état i transitoire et chaqueclasse d’états recurrents ĵ(d) Trouvez la limite quand n → ∞ de la matrice de transition après n étapes P n .2. Soit X t = x + ∑ ti=1 Z t une marche aléatoire sur les nombres naturels, avec la distributionde chaque pas Z t donnée par p k = P [Z t = k], avec : { p 1 = 6 7 , p −1 = 0, p −2 = 1 7}.a) Vérifier si E[Z t ] > 0. b) Soit T = inf{t : X t ≤ 0} le temps de ruine. Calculer lesprobabilités de ruine ψ x , x ∈ N. c) Vérifier la positivité du résultat.3. On lance une pièce de monnaie biaisée, avec la probabilité de sortir face égale à q etcelle de sortir pile égale à p = 1 − q, jusqu’à ce qu’on obtient une suite pile-pile-face(arrivèes consécutivement).a) Trouvez l’espérance t = ET du temps T jusqu’à l’arrêt, (i.e. le nombre de jets N,en incluant les derniers pas). Indication : On pourrait utiliser un processus de Markovqui retient l’information minimale nécessaire pour décider si l’événement désiré a eulieu, et qui contient dans ce cas l’état final desiré, et tous ses prefixes.b) Reprenez cette question, en supposant que les temps d’arrivée d’un nouveau résultatont des distributions exponentielles avec des paramètres λ P , λ F (qui dependent dudernier état P ou F).1.Solutions :2. a) L’espérance des sinistres est m 1 = 1 + 5 = 2 et le taux de profit p = 1.6×2 6×6 9 9b) Les probabilités de ruine sont ψ(u) = 4 1 n + 1 1 n .5 2 5 −33. Considerons le processus de Markov sur les états suivants, qui specifient une decompositionen trois cas possibles pour les trois dernièrs résultats : A = {P P F }, P P ={P P }, P = {P c P }, F = {(P P ) c F }, et soit x P P , x P , x F , x A = 0 le nombre esperé despas jusq’á l’arrêt, conditionné par ces états initiaux.Rq : La somme des probas de tous les états est : ppq + pq + q 2 + p(1 − pq) = p + q = 1,donc il s’agit⎛vraiment⎞d’une decomposition de l’espace des états.q p 0Soit Q = ⎝q 0 p⎠. Les trois inconnues v = (x F , x P , x P P ) satisfont (Q−I)v +1 = 0.0 0 pLa réponse estx P P = q −1 , x P = q −1 + p −2 , x F = 1p 2 qExamen de processus stochastiques 17 Juin 2010Tous les documents d’aide sont interdits1. a) Calculer les probabilités de bonheur p x = P x [T B < T 0 ] pour une marche simplesymmetrique X t = x + ∑ ti=1 Z t, sur [1, 2, ..., B − 1], (avec p 1 = 1 = p 2 −1) absorbée en 0et B.141

) Soit ˜T z = inf[t > 0 : X t = z] le temps du premier ”retour” en z ( en excluantt = 0).Calculer les probabilités de retour pour z ∈ [1, B − 1], définies par p z = P z [ ˜T z 0. b) Calculer les probabilités de ruine ψ x , x ∈ N.c) Demontrer la positivité du résultat.d) Calculer l’espérance du temps de ruine pour la marche ”renversée”, avec la distributionde chaque pas Z t donnée par : { p −1 = 3, p 4 1 = 1 , p }12 2 = 1 6e) Calculer l’espérance du temps de ruine pour la marche initiale, en supposant quece temps est fini (en conditionnant sur le cas où la ruine arrive).Solutions :1. b) p z = P z [ ˜T z < min[T 0 , T B ]] = (f 1 (z − 1) + f 2 (z + 1)/2 = 2 − 1/z − 1/(B − z), oùf 1 (x) = x z , f 2(x) = B−xB−z .2. a) L’espérance des sinistres est m 1 = 2 9 et le taux de profit p = 1 9 .b) Les probabilités de ruine sont ψ(u) = ( − 1 3) nA(1) +( 23) nA(2), avec A ={ 19 , 8 9}.142

Examen de processus de Markov, 12 Mai 2011Tous les documents d’aide sont interdits1. Soit X t = x + ∑ ti=1 Z t une marche aléatoire sur les nombres naturels, avec la distributionde chaque pas Z t donnée par p k = P [Z t = k], avec : { p 1 = 3, p 4 −1 = 1 , p 12 −2 = 6} 1 .(a) Vérifier si E[Z t ] > 0.(b) Calculer les probabilités de ruine ψ x , x ∈ N.(c) Calculer l’espérance du temps de ruine pour la marche ”renversée”, avec la distributionde chaque pas Z t donnée par : { p −1 = 3, p 4 1 = 1 , p }12 2 = 1 62. Soit X t une file M(λ)/M(µ)/1.(a) Donnez la matrice génératrice G pour le processus X t .(b) Indiquer les valeurs des probabilités p et q pour que le nombre de clients augmente/diminue,au moment du premier saut à partir d’un état n ≥ 0.(c) Calculez la distribution stationnaire de X t .(d) Calculez l’ésperance t i = E i [T 0 ] en sortant de i ≥ 1 du temps T 0 jusqu’à lapremière arrivée en 0 en utilisant le système de conditionnement 1+ ∑ j G(i, j)t j =0, ∀i ≥ 1.(e) Calculez l’ésperance en sortant de 0 du temps ˜T 0 jusqu’au premier retour en 0.(f) Calculez l’ésperance t π,0 = E π [T 0 ] du temps stationnaire jusqu’à la première arrivéeen 0 (i.e. avec la distribution initiale stationnaire π).3. Soit X t la longueur de la file d’attente avec s serveurs qui prennent chacun des tempsexponentielles de paramètre µ pour servir un client. Après avoir servi un client, lesserveurs prennent des pauses café à durée exponentielle de paramètre ν, et en suite ilsapportent un nouveau client, à partir d’un reservoir infini qui ne se vide jamais.Specifier la matrice génératrice et calculer la distribution stationnaire du nombre desserveurs qui sont en pause café.143

4. Considérez une particule effectuant une marche aléatoire simple X t , t = 0, 1, 2, ...sur le graphe (A) ci-dessous : i.e. à chaque moment t = 1, 2, ..., la particule se déplacevers l’un de ses voisins sur le graphe à sa position actuelle, avec la même probabilitépour chaque choix.(A)(B)112 32 3005454(a) Calculer :Les probabilités stationnaires de chaque noeud. Indication : On peut utiliser lesèquations d’équilibre detaillé.(b)À un moment donné, le passage sur certaines arrêts du graphe devient impossible,ou possible seulement dans une direction, comme indiqué par des flèches dansle graphe (B). Plus précisement, la particule continue de choisir des destinationssuivant le graphe (A) (”aveuglement”), mais les choix qui ne sont plus disponiblesrésultent dans un pas annulé, donc sur place.i. Donnez la matrice de transition de la marche.ii. Identifiez les classes de la chaîne, et classifiez les en récurrentes et transitoires.iii. Trouvez la distribution stationnaire de chaque classe récurrente.iv. Est-ce que la limite quand n → ∞ de la matrice de transition apres n étapesP n existe ? Le cas écheant, trouvez-la.144

Solutions :1. a) L’espérance des increments est m 1 = 5 12 .b) Les probabilités de ruine sont ψ(u) = ( − 1 3) nA(1) +( 23) nA(2), avec A ={ 19 , 8 9}.145