MASTER-MRMI Recherche Opérationnelle
Université Hassan II
École Normale Supérieure de
l’enseignement technique de Mohammedia
Master-MRMI
Recherche Opérationnelle
Stochastique
Chaine de MARKOV
Réalisé par :
➢ SEGHIR Ilyas
➢ BAHTOUKI Abdelkarim
➢ HAMDOUNI Abderahim
Encadré par :
➢ Mme. AKEF
SEGHIR Ilyas BAHTOUKI
Abdelkarim
HAMDOUNI
Abdrahim

MASTER-MRMI Recherche Opérationnelle
Sommaire
Introduction
1.Historique
2.Chaine de Markov
3. Graphe orienté pondéré
➢ Exemple d’application
4. Distributions et matrices de transition
➢ Exemple
5. Distribution invariante / stationnaire
➢ Exemple
Conclusion

MASTER-MRMI Recherche Opérationnelle
1
INTRODUCTION
Très souvent, lorsque que nous étudions un phénomène qui dépend du hasard, il y a lieu de
prendre en compte l’évolution de ce phénomène au cours du temps. Nous avons vu que
chaque observation d’un phénomène réel est modélisée par une variable aléatoire réelle ;
l’étude de phénomènes évoluant dans le temps va donc être modélisée par une famille de
variables aléatoires, appelée processus stochastique.
Un processus stochastique est une suite de variables aléatoires indicées par le temps. Le cas
le plus simple est celui d'une suite de variables aléatoires indépendantes. Ce sont des variables
aléatoires qui n'ont aucune influence les unes sur les autres. C'est le sujet qu'on étudie dans
un premier cours de probabilités après avoir introduit les notions fondamentales
d'événement, de probabilité, d'indépendance, de variable aléatoire et d'espérance. Le tout
culmine avec la loi des grands nombres, qui permet d'interpréter l'espérance comme la
moyenne de valeurs observées à long terme, indépendamment et dans les mêmes conditions,
et le théorème limite central, qui garantit que cette moyenne est la valeur prise par une
variable aléatoire dont la distribution de probabilité s'approche de plus en plus d'une loi
normale. Autrement dit, le futur étant donné le présent est indépendant du passé. Le
processus possède alors la propriété dite markovienne, en mémoire du mathématicien russe
Andreï Markov (1856-1922). Il décrit en général ce qui se passe à long terme, c'est-à-dire la
distribution de probabilité limite de la chaîne sur les différents états lorsque cette distribution
existe, et la proportion moyenne limite de temps que la chaîne passe dans chaque état, et ce
selon l'état initial. Il permet de comprendre le comportement de la chaîne sur une longue
période de temps. Dans un tel contexte, il est intéressant de savoir quelle est la probabilité
d'être à une position donnée après un très long moment, ou encore quelle proportion
moyenne de temps est passée à cette position sur une longue période de temps. C'est le type
de questions qu'on se pose souvent lorsqu'on est en présence d'une chaîne de Markov. De
nombreuses situations réelles sont modélisées par des chaînes de Markov, que ce soit en
biologie, en physique, en économie ou en recherche opérationnelle. Ce rapport commence
donc des exemples pour illustrer les principaux concepts.

MASTER-MRMI Recherche Opérationnelle
2
I. Historique :
Les premiers processus étudiés sont, bien-sûr, les suites de variables aléatoires
indépendantes, ce qui a conduit à la loi des grands nombres et au théorème central limite. Le
mathématicien russe Andreï Andreïevitch Markov poussé vers la théorie des probabilités par
son maître, Pafnoutï Lvovitch Tchebychev, qui démontra, sous des conditions assez générales,
le théorème central limite, chercha à généraliser ce théorème à des suites de variables
aléatoires dépendantes, pour répondre à une polémique entre lui et un mathématicien russe
clérical et monarchiste. Il est amené ainsi à considérer des variables faiblement dépendantes,
c’est à dire que l’évolution future ne dépend que de l’état présent, fondement de la théorie
des processus auxquels fût donné son nom. A.A. Markov est né à Riazan en 1856 et mort à
Saint Petersbourg en 1922, où il devint professeur en 1886 et où il fut membre de l’Académie
des Sciences à partir de 1896. Il succéda à son maître, dont il fut le meilleur étudiant, comme
professeur de probabilités. Ses premiers travaux de recherche se situent dans le domaine de
la théorie des nombres et en analyse, ses recherches concernent tout particulièrement les
fractions continues, les limites d’intégrales, la convergence des séries et la théorie de
l’approximation. En 2006 était célébré le centenaire 2 de l’article lançant l’idée de base des
chaînes dites de Markov. À noter que, passionné de littérature, il développa en 1912 une
application des chaînes à l’étude statistique des textes. Il montre que l’occurrence d’une
voyelle immédiatement après une consonne est un processus de Markov en étudiant les 20
000 premières lettres du roman de Pouchkine : Eugène Onéguine.

MASTER-MRMI Recherche Opérationnelle
3
II. Chaîne de MARKOV
Définition :
Une chaîne de Markov est une suite de variables aléatoires (Xn) définies sur un même espace
probabilisé (où la probabilité est noté p) à valeur dans un ensemble E, appelé « espace des
états » et vérifiant la propriété caractéristique :
∀i0, i1, . . ., in+1 ∈ E, p (X0=i0, X1=i1 ..., Xn=in) (Xn+1 = in+1) = p(Xi=in) (Xn+1 = in+1).
Remarque :
Une chaîne de Markov est une suite de variables aléatoires (Xn) tel que la loi de probabilité de
Xn+1 ne dépend uniquement que de Xn. Si cette chaîne modélise un processus temporel, l’état
futur du système, Xn+1, ne dépend que de son état présent Xn, et non des états passés (X0,
X1, . . ., Xn−1). Un tel processus est alors qualifié de « processus sans mémoire ».
Comme Markov l'a souligné, dans les systèmes ou processus stochastiques (c'est-à-dire
aléatoires) qui présentent un état présent, il est possible de connaître leurs antécédents ou
leur développement historique. Par conséquent, il est possible d'établir une description de
leur probabilité future. Plus formellement, la définition suppose que dans les processus
stochastiques, la probabilité que quelque chose se produise ne dépend que du passé
historique de la réalité que nous étudions. Pour cette raison, on dit souvent que ces chaînes
ont de la mémoire. La base des chaînes est connue sous le nom de propriété de Markov, qui
résume ce qui a été dit précédemment dans la règle suivante : ce que la chaîne éprouve à
l'instant t+1 ne dépend que de ce qui s'est passé à l'instant t (celui qui précède
immédiatement).
Compte tenu de cette explication simple de la théorie, on peut observer qu'il est possible à
travers elle de connaître la probabilité qu'un état se produise à long terme. Cela aide sans
aucun doute la prédiction et l'estimation sur de longues périodes de temps.
Où est utilisée la chaîne de Markov ?
Les chaînes de Markov ont vu une application réelle significative dans les affaires et la finance.
Ceci, en permettant, comme cela a été indiqué, d'analyser et d'estimer les comportements
futurs des individus sur la base de l'expérience et des résultats antérieurs. Cela peut se refléter
dans différents domaines tels que la délinquance, l'étude du comportement des
consommateurs, la demande saisonnière de main-d'œuvre, entre autres. Le système
développé par Markov est assez simple et a, comme nous l'avons dit, une application pratique
assez facile. Cependant, de nombreuses voix critiques soulignent qu'un tel modèle simplifié
ne peut pas être pleinement efficace dans des processus complexes.
Résumé :
Les chaînes de Markov sont des outils statistiques et probabilistes simples et puissants.

MASTER-MRMI Recherche Opérationnelle
4
Une chaîne de Markov est un processus aléatoire portant sur un nombre
fini d’états, avec des probabilités de transition sans mémoire.
III. Graphe orienté pondéré :
Un graphe orienté est pondéré lorsque chaque arête est affectée d'un nombre réel positif
appelé poids de cette arête. Un graphe probabiliste est un graphe orienté où tous les poids
sont des réels compris entre 0 et 1 et tel que la somme des poids des arêtes issues d'un même
sommet est 1.
Définition :
Un graphe probabiliste est un graphe orienté pondéré tel que :
• Tous les poids appartiennent à l’intervalle [0 ; 1].
• La somme des poids des chemins issus d’un sommet est égale à 1.
La matrice d’adjacence d’un graphe probabiliste est une matrice stochastique.
Remarque :
« Stochastique » synonyme d’aléatoire. On a la matrice
d’adjacence suivante :
M =(
0.25 0.55 0.2
1 0 0
0 0.15 0.85
)
La somme des coefficients de chaque ligne vaut 1.
C’est une matrice stochastique.
Pour bien comprendre la chaine de Markov, nous vous proposons deux exemples, en étudiant
les points communs entre ces deux exemples, ensuite on sera capable de comprendre la
définition générale.
Exemple 1 :
Dans une région, s’il pleut un certain jour alors il pleut également le lendemain avec une
probabilité égale à 0,7. De plus, s’il ne pleut pas un certain jour alors il pleut le lendemain avec
une probabilité égale à 0,2. On choisit au hasard une journée. Xn est la variable aléatoire qui
prend la valeur 1 s’il pleut après n jours et 2 s’il ne pleut pas après n jours.
Solution : (Graphe Orienté Pondéré)
premier exemple il s'agit d'un modèle de météo.

MASTER-MRMI Recherche Opérationnelle
5
Exemple 2 :
Une puce se déplace aléatoirement sur les sommets d’un carré ABCD. Chaque seconde, elle
saute sur l’un des sommets voisins de façon équiprobable. Après n secondes, on note Xn sa
position.
Solution : (Graphe Orienté Pondéré)

MASTER-MRMI Recherche Opérationnelle
6
Définition :
Une chaine de Markov sur un espace d’états E est un processus (Xn) tel que :
• Pour tout état i de E, l’événement Xn+1 = i ne dépend que de l’état dans lequel était le
processus à l’instant n (« Le futur ne dépend que de l’instant présent »).
IV. Distributions et matrices de transition :
Probabilité de transition
On considère la loi de probabilité de Xn, appelée probabilité de transition, qui donne la
probabilité qu'un attaquant possède le ballon à l'étape n (n-ième passe). On note par
exemple : la probabilité que le ballon se trouve chez l'attaquant C
après la (n + 1) -ième passe sachant que c'est l'attaquant A qui envoie le ballon. Il s'agit
d'une probabilité conditionnelle. Cette probabilité ne dépend pas de n
Matrice de transition
Définition : La matrice de transition d'une chaîne de Markov est la matrice carrée d'ordre n
dont le coefficient Pij situé sur la ligne i et la colonne j est la probabilité de transition portée
par l'arc reliant le sommet i vers le sommet j s'il existe et 0 dans le cas contraire.
Dans l'exemple, la matrice de transition est :
𝑃 = (
0 2/3 1/3
0.5 0 0.5
3/4 1/4 0
)
On trouve par exemple à l'intersection de la première ligne et de la deuxième colonne la
probabilité que le ballon arrive chez l'attaquant B alors qu'il se trouvait chez l'attaquant A.
Remarques :
- Le coefficient P11 de la matrice P est nul car la probabilité que l'attaquant A garde le ballon
est nulle. Il en est de même pour les coefficients P22et P33.
- La somme des coefficients d'une même ligne d'une matrice de transition est égale à 1.
Définition :
L'état probabiliste après n étapes de la chaîne de Markov est la matrice ligne dont les
coefficients sont les probabilités d'arrivée en chaque sommet après n étapes.
Exemple : Dans l'exemple des passeurs au football, la matrice ligne des états après la 3e étape
donnerait les probabilités que le ballon se trouve chez l'attaquant A, chez l'attaquant B et chez
l'attaquant C après 3 passes.

MASTER-MRMI Recherche Opérationnelle
7
L'arbre de probabilité ci-contre permet de résumer les probabilités de
transition de l'étape n à l'étape n + 1. On note qn, pn et rn les probabilités que le ballon se
trouve respectivement chez l’attaquant A, chez le B et chez le C après la n-ième passe.
A l'aide de la formule des probabilités totales, on a :
On note 𝜋𝑛 = ( 𝑃𝑛 𝑄𝑛 𝑅𝑛 ) la matrice ligne des états de la
chaîne de Markov après n étapes. On a alors : 𝜋𝑛 + 1 = 𝜋𝑛 ∗ 𝑃
Propriété :
On considère une chaîne de Markov de matrice de transition P et dont la matrice ligne des
états à l'étape n est 𝜋𝑛 . Pour tout entier naturel n, on a : 𝜋𝑛 + 1 = 𝜋𝑛 × P et 𝜋𝑛 = 𝜋𝑜 × 𝑃𝑛
où
𝜋𝑜, est l'état initial.

MASTER-MRMI Recherche Opérationnelle
8
V. Distribution invariante / stationnaire :
Définition :
Distribution invariante Soit une chaîne de Markov homogène (Xn) de matrice de transition P.
π est une distribution invariante si la matrice ligne π vérifie : π P = π
Théorème :
P est la matrice de transition associée à une chaîne de Markov.
On note 𝝅𝟎 la distribution initiale.
S’il existe un entier naturel k ≥ 1 tel que la matrice 𝑃𝑘
ne comporte pas de 0, alors la suite
(𝝅𝒏) des distributions converge vers une distribution π invariante et indépendante de la
distribution initiale𝝅𝟎.
De plus, π est l’unique distribution invariante de cette chaîne de Markov.
Exemple :
On considère la chaîne de Markov sur le graphe ci-dessous :

MASTER-MRMI Recherche Opérationnelle
9
Étudier la convergence de la chaîne de Markov.
Correction :
La matrice de transition est 𝑃 = (
0.4 0.6
0.3 0.7
)
Pour tout entier naturel n, on a𝜋𝑛+1 = 𝜋𝑛 × 𝑃 : où (𝜋𝑛) est la suite des matrices lignes des
états de la chaîne de Markov.
L'état stable π = (𝑝 𝑞) vérifie l'équation π = π × 𝑃, soit :
(𝑝 𝑞) = (𝑝 𝑞) × (
0.4 0.6
0.3 0.7
)
Ainsi, on a le système : {
𝑝 = 0.4𝑝 + 0.3𝑞
𝑞 = 0.6𝑝 + 0.7𝑞
⟺ {
0.6𝑝 = 0.3𝑞
0.3𝑞 = 0.6𝑝
⟺ 𝑞 = 2𝑝
Comme 𝑞 + 𝑝 = 1 , on a 1 − 𝑝 = 2𝑝 et donc 𝑝 =
1
3
et donc 𝑞 =
2
3
.
L'état stable du graphe est donc :
𝜋 = (
1
3
2
3
)
Cela signifie que, quel que soit l'état initial (départ de A ou de B), les probabilités d'être en A et
en B tendent respectivement vers
1
3
et
2
3
.

MASTER-MRMI Recherche Opérationnelle
10
Exercice d’application :
Chaque semaine, un père achète à son fils un paquet de corn flakes dans lequel on trouve en
cadeau une image. Il y a 5 images différentes à collectionner. Après n semaines, on note Xn le
nombre d’images différentes que possède le garçon.
1). Dessiner le graphe de cette chaîne de Markov.
2). Ecrivez la matrice de passage P
3). En déduire si la matrice est variante ou invariante, justifiez votre réponse.

MASTER-MRMI Recherche Opérationnelle
11
CONCLUSION
Nous avons essayé dans ce rapport de familiariser le lecteur avec la chaîne de Markov, en
commençant d’abord par une mise en contexte historique et générale notamment en son
rapport avec la stochastique. Puis nous avons abordé les notions de base : une définition de
la chaîne de Markov, comment construire le graphe orienté pondéré à partir d’un exemple.
D’ailleurs, c’est en se basant sur le même exemple que nous avons démontré les propriétés
qui permettent d’extraire la matrice de transition et les suites qui en découlent. Enfin, nous
avons expliqué comment savoir si une distribution est variante ou non.
Nous espérons que tous ces chapitres abordés aideront le lecteur à bâtir une base solide dans
les chaînes de Markov, sur laquelle il pourra traiter des cas plus complexes, accéder aux
stochastiques et ainsi pouvoir approfondir ses connaissances dans la recherche
opérationnelle.