Chaîne de Markov - Distribution invariante
Chaine de Markov – Distribution invariante
Les chaines de Markov apparaissent dans divers domaines (Biologie, Physique, Economie, Informatique,…) afin de prévoir le futur et estimer les évolutions possibles à partir d’une situation initiale.
Propriétés :
Soit (Xk) une chaine de Markov et pij la probabilité de passer de l’état i à l’état j. On suppose que la chaine contient n états.
La matrice de transition de cette chaine de Markov est une matrice de dimension n×n qui vaut
P=(p1,1..p1,n..pn,1..pn,n).
La probabilité de transition p(n)ij est la probabilité de passer de l’état i à l’état j en n étapes et est le terme ij dans la matrice Pn.
Soit Π0 la matrice de l’état initial,
A la nieme transition on a Πn tel que Πn=Π0×Pn.
Si Pn converge, alors la distribution de probabilité est stationnaire, notée Π, et vérifie Π=ΠP. Elle ne dépend donc pas de l’état initial.
Exemple :
On considère un pays proche de l’équateur dont le temps est à peu près le même quelque que soit le jour de l’année :
s’il pleut un jour alors il repleut le jour suivant avec une probabilité 23
s’il fait beau, alors il refait beau avec une probabilité 34.
1-Quelle est la probabilité qu’il fasse beau 7 jours après, en supposant qu’il faisait beau le première jour ?
2-Quelle est la proportion de beaux jours en un an ?
Réponses :
1- La première question consiste à déterminer l’état 7 jours après, c’est à dire en 7 étapes. On cherche donc à connaitre Π7.
On considère les états suivants : (Beau temps Mauvais temps).
Ainsi l’état initial est donné par Π0=(10).
Si il fait beau, il refait beau avec une probabilité de 34. Il pleut donc après un jour de beau temps avec une probabilité de 14
Si il pleut, il pleut à nouveau avec une probabilité de 23. Il fait donc beau après un jour de pluie avec une probabilité de 13.
La matrice de transition est donc la suivante P=(34141323).
Ainsi, Π7=Π0×P7≈(0,570,43) d’après la calculatrice. La probabilité qu’il fasse beau 7 jours après est de 0,57.
2- Cela revient à déterminer à long terme la proportion de beaux jours. On cherche donc à déterminer l’état stationnaire de Πn.
On suppose que Pn converge.
Soient a et b deux réels tels que Π=(ab)
Ainsi Π=ΠP⟺{34a+13b=a14a+23b=b
Or a+b=1 ou encore b=1–a.
Finalement, on obtient {a=47b=37
La probabilité qu’il fasse beau est donc en moyenne de 47.
Ainsi, le nombre de jours moyen de beau temps est de 365×47≈209.