Chaîne de Markov : cours, matrice de transition et exemples

Rédigé et vérifié par un professeur diplômé de l’École Polytechnique. Découvrir le professeur

Quand Google classe des milliards de pages, quand une application te prédit le prochain mot que tu vas taper, quand un biologiste modélise l’évolution d’une population : il y a souvent une chaîne de Markov cachée derrière. L’idée est étonnamment simple — pour prévoir l’avenir, seul le présent compte, le passé ne sert à rien. En maths expertes, c’est l’outil qui relie graphes, matrices et probabilités. Dans cet article, tu vas comprendre la définition exacte, apprendre à construire la matrice de transition, calculer l’évolution dans le temps et trouver l’état stable, puis t’entraîner sur six exercices corrigés pas à pas.

I. Qu’est-ce qu’une chaîne de Markov ?

Une chaîne de Markov modélise un système qui change d’état au fil du temps, de façon aléatoire, mais selon une règle toujours la même. Imagine une application de streaming : chaque mois, un utilisateur est soit abonné (état A), soit non abonné (état N). D’un mois à l’autre, il peut changer d’état avec certaines probabilités. Ce qui va se passer le mois prochain dépend uniquement de son statut aujourd’hui — pas de son historique des six derniers mois.

A. La propriété « sans mémoire »

C’est le cœur de la définition : une chaîne de Markov est un processus sans mémoire. La probabilité de l’état à l’étape \(n+1\) ne dépend que de l’état à l’étape \(n\), et pas de la manière dont on y est arrivé.

B. États et probabilités de transition

Deux objets suffisent à décrire une chaîne de Markov :

• les états : les situations possibles du système (ici A et N) ;
• les probabilités de transition : la probabilité de passer d’un état à un autre en une étape.

Reprenons notre exemple. Supposons qu’un abonné reste abonné le mois suivant avec une probabilité \(0{,}8\) (et se désabonne donc avec \(0{,}2\)), et qu’un non-abonné s’abonne avec une probabilité \(0{,}3\) (et reste non-abonné avec \(0{,}7\)). Ces quatre nombres définissent la matrice de transition. Pour déterminer la loi de toute la chaîne, il faut aussi préciser la distribution initiale.

---

II. De l’arbre pondéré au graphe probabiliste

Tu connais déjà un outil pour visualiser des probabilités de transition : l’arbre pondéré. À chaque étape, on part de l’état courant et on dessine les branches vers les états possibles. Mais pour une chaîne de Markov, les mêmes probabilités se répètent à chaque étape : l’arbre devient vite illisible. On le remplace par un graphe probabiliste, bien plus compact.

Dans ce graphe, chaque sommet est un état, et chaque flèche (arc) porte la probabilité de transition correspondante. Les flèches qui partent d’un même sommet ont des poids dont la somme vaut toujours \(1\).

---

III. La matrice de transition

Le graphe est parlant, mais pour calculer efficacement on a besoin d’un objet numérique : la matrice de transition. C’est la traduction matricielle du graphe probabiliste, et elle fonctionne exactement comme une matrice d’adjacence pondérée.

Pour notre exemple, en rangeant les états dans l’ordre (A, N) :

\(P = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}3 & 0{,}7 \end{pmatrix}\)

La première ligne décrit ce qui se passe depuis A, la deuxième ligne depuis N. Une telle matrice, à coefficients positifs et dont chaque ligne a pour somme \(1\), s’appelle une matrice stochastique.

---

IV. L’évolution de la distribution dans le temps

On ne connaît en général pas l’état exact du système, mais une distribution de probabilité sur les états : « il y a 50 % de chances d’être abonné, 50 % de ne pas l’être ». On la note sous forme de vecteur ligne \(\pi(n)\), où \(n\) est le numéro de l’étape.

La question centrale est : comment passer de \(\pi(n)\) à \(\pi(n+1)\) ? La réponse découle de la formule des probabilités totales : pour connaître la probabilité d’être dans un état au temps \(n+1\), on additionne les contributions de tous les états possibles au temps \(n\). Matriciellement, cela s’écrit avec un produit matriciel.

Cette seconde formule est précieuse : elle permet de sauter directement à l’étape \(n\) à l’aide d’une puissance de matrice, sans calculer toutes les étapes intermédiaires une par une.

---

V. Chaîne à deux états : la méthode sans matrice

Pour une chaîne à deux états, on peut souvent se passer complètement des matrices. On suit une seule probabilité au cours du temps, et on retrouve une suite arithmético-géométrique que tu sais déjà résoudre.

Notons \(p_n\) la probabilité d’être abonné (état A) à l’étape \(n\). La probabilité d’être non-abonné est alors \(1- p_n\). Pour être abonné au mois suivant, deux chemins : rester abonné, ou le devenir.

\(p_{n+1} = 0{,}8\,p_n + 0{,}3\,(1- p_n) = 0{,}5\,p_n + 0{,}3\)

On reconnaît une suite arithmético-géométrique de la forme \(p_{n+1} = a\,p_n + b\) avec \(a = 0{,}5\) et \(b = 0{,}3\). On cherche le point fixe \(\ell\) vérifiant \(\ell = 0{,}5\,\ell + 0{,}3\), d’où \(0{,}5\,\ell = 0{,}3\) et \(\ell = 0{,}6\).

La suite auxiliaire \(u_n = p_n- 0{,}6\) est géométrique de raison \(0{,}5\), donc :

\(p_n = 0{,}6 + (p_0- 0{,}6)\times 0{,}5^{\,n}\)

Comme \(0{,}5^{\,n}\) tend vers \(0\), la probabilité \(p_n\) converge vers \(0{,}6\), quelle que soit la situation de départ.

---

VI. Distribution invariante et convergence

On vient de voir que la distribution se stabilise. Cette distribution limite porte un nom : la distribution invariante (ou état stable). C’est l’une des questions les plus fréquentes au contrôle.

Pour la trouver, on résout l’équation \(\pi P = \pi\). Posons \(\pi = (a \;\; 1-a)\). L’équation sur la première coordonnée donne :

\(0{,}8\,a + 0{,}3\,(1-a) = a\) \(0{,}5\,a + 0{,}3 = a \quad\Longrightarrow\quad a = 0{,}6\)

On retrouve bien \(\pi = (0{,}6 \;\; 0{,}4)\), cohérent avec l’étude précédente : à long terme, 60 % des utilisateurs sont abonnés.

A. Ancien et nouveau vocabulaire

Tu croiseras d’anciens manuels (ex-terminale ES) qui emploient un vocabulaire légèrement différent. Voici la correspondance pour ne pas te perdre dans tes recherches.

---

VII. Marches aléatoires sur un graphe

Un cas particulier très étudié est la marche aléatoire : un « marcheur » se déplace de sommet en sommet d’un graphe, en choisissant au hasard l’une des arêtes qui partent du sommet où il se trouve. C’est exactement une chaîne de Markov, dont les états sont les sommets et la matrice de transition se déduit du graphe.

La marche uniforme sur un graphe suppose que chaque sommet possède au moins un voisin. S’il existe un sommet isolé, il faut définir une règle particulière, par exemple y rester avec probabilité 1.

Si un sommet a \(d\) voisins, chaque arête est choisie avec la probabilité \(\displaystyle\frac{1}{d}\). La matrice d’adjacence du graphe sert donc de point de départ : on divise chaque ligne par le degré du sommet correspondant pour obtenir la matrice de transition.

---

VIII. À quoi servent les chaînes de Markov ?

Loin d’être un exercice abstrait, les chaînes de Markov sont partout. Voici quatre applications majeures qui expliquent pourquoi ce chapitre est au programme.

• PageRank (Google). On modélise la navigation sur le web comme une marche aléatoire entre pages liées. La distribution invariante donne l’importance de chaque page : c’est l’idée qui a fait le succès de Google.
• Modèle d’Ehrenfest (physique). Deux urnes échangent des billes au hasard. La chaîne décrit la diffusion d’un gaz entre deux compartiments et illustre le retour à l’équilibre.
• Génétique des populations. L’évolution de la fréquence d’un allèle d’une génération à l’autre se modélise par une chaîne de Markov.
• Files d’attente et fiabilité. L’état d’un serveur, d’une file à un guichet ou d’une machine (en marche / en panne) suit une chaîne de Markov.

Dans tous ces cas, la question posée est presque toujours la même : quelle est la distribution invariante, c’est-à-dire le comportement à long terme du système ?

---

IX. Du lycée à la prépa : trois paliers

La chaîne de Markov accompagne l’élève bien au-delà de la Terminale. Voici comment la notion s’approfondit, palier par palier.

A. 🔵 Terminale : calcul direct

En maths expertes, on se limite à 2 ou 3 états. Les compétences attendues : construire la matrice de transition à partir d’un énoncé, calculer \(\pi(n)\) par \(\pi(0)P^{\,n}\) ou par suite arithmético-géométrique, et déterminer la distribution invariante en résolvant \(\pi P = \pi\).

B. 🟠 Prépa ECG2 : l’état stable comme vecteur propre

En prépa, l’équation \(\pi P = \pi\) se lit autrement : \(\pi\) est un vecteur propre à gauche de \(P\) associé à la valeur propre \(1\). En transposant, avec la convention lignes, \(\pi P = \pi\) équivaut à \({}^{t}P\,{}^{t}\pi = {}^{t}\pi\) : la distribution invariante est un vecteur propre de \({}^{t}P\) pour la valeur propre \(1\). On peut alors utiliser toute la théorie des valeurs propres et de la diagonalisation pour calculer \(P^{\,n}\) explicitement. Les propriétés fines sont traitées sur la page matrice stochastique.

C. 🔴 Concours : irréductibilité et convergence

Pour toute chaîne finie, au moins une distribution invariante existe. Si la chaîne est irréductible, cette distribution est unique. Si elle est en plus apériodique, les distributions au temps \(n\) convergent vers elle, quelle que soit la distribution initiale. Ce sont trois conclusions distinctes.

D. 🔴 Ce que le correcteur attend

---

X. Exercices corrigés

Six exercices classés par difficulté. Essaie-les avant de dérouler la correction : c’est ainsi qu’on progresse réellement.

Exercice 1 — Construire la matrice de transition ★

Une machine est chaque jour soit en marche (M), soit en panne (P). Une machine en marche tombe en panne le lendemain avec une probabilité \(0{,}1\). Une machine en panne est réparée et redémarre le lendemain avec une probabilité \(0{,}6\). Donne le graphe probabiliste et la matrice de transition (ordre M, P).

Voir la correction de l’exercice 1

Depuis M : reste en marche avec \(1- 0{,}1 = 0{,}9\), tombe en panne avec \(0{,}1\).

Depuis P : redémarre avec \(0{,}6\), reste en panne avec \(1- 0{,}6 = 0{,}4\).

La matrice de transition est :

\(P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}6 & 0{,}4 \end{pmatrix}\)

Vérification : chaque ligne somme à \(1\). ✓

---

Exercice 2 — Distribution après deux étapes ★

On reprend la machine de l’exercice 1. Au jour 0, elle est en marche : \(\pi(0) = (1 \;\; 0)\). Calcule \(\pi(1)\) puis \(\pi(2)\).

Voir la correction de l’exercice 2

\(\pi(1) = \pi(0)\,P = (1 \;\; 0)\begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}6 & 0{,}4 \end{pmatrix} = (0{,}9 \;\; 0{,}1)\) \(\pi(2) = \pi(1)\,P = (0{,}9 \;\; 0{,}1)\begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}6 & 0{,}4 \end{pmatrix}\)

Première coordonnée : \(0{,}9 \times 0{,}9 + 0{,}1 \times 0{,}6 = 0{,}81 + 0{,}06 = 0{,}87\).

Deuxième coordonnée : \(0{,}9 \times 0{,}1 + 0{,}1 \times 0{,}4 = 0{,}09 + 0{,}04 = 0{,}13\).

Donc \(\pi(2) = (0{,}87 \;\; 0{,}13)\) : 87 % de chances d’être en marche le deuxième jour.

---

Exercice 3 — Distribution invariante à deux états ★★

Toujours la même machine. Détermine la distribution invariante \(\pi = (a \;\; 1-a)\).

Voir la correction de l’exercice 3

On résout \(\pi P = \pi\). La première coordonnée donne :

\(0{,}9\,a + 0{,}6\,(1-a) = a\) \(0{,}9\,a + 0{,}6- 0{,}6\,a = a\)

\(0{,}3a+0{,}6=a\), donc \(0{,}6=0{,}7a\).
Ainsi \(a=\displaystyle\frac{0{,}6}{0{,}7}=\displaystyle\frac67\)

Donc \(\pi = \left(\displaystyle\frac{6}{7} \;\; \displaystyle\frac{1}{7}\right)\). À long terme, la machine est en marche environ 85,7 % du temps.

---

Exercice 4 — Expression de la probabilité à l’étape n ★★

Une plateforme de jeu : chaque semaine, un joueur actif le reste avec probabilité \(0{,}7\), un joueur inactif redevient actif avec probabilité \(0{,}2\). On note \(a_n\) la probabilité qu’il soit actif la semaine \(n\), avec \(a_0 = 1\). Exprime \(a_n\) en fonction de \(n\).

Voir la correction de l’exercice 4

Être actif à la semaine \(n+1\) : soit rester actif, soit le redevenir.

\(a_{n+1} = 0{,}7\,a_n + 0{,}2\,(1- a_n) = 0{,}5\,a_n + 0{,}2\)

Point fixe : \(\ell = 0{,}5\,\ell + 0{,}2 \Rightarrow \ell = 0{,}4\).

La suite \(u_n = a_n- 0{,}4\) est géométrique de raison \(0{,}5\), avec \(u_0 = 1- 0{,}4 = 0{,}6\).

\(a_n = 0{,}4 + 0{,}6 \times 0{,}5^{\,n}\)

Comme \(0{,}5^{\,n}\to 0\), la probabilité d’être actif converge vers \(0{,}4\).

---

Exercice 5 — Chaîne à trois états ★★

Un abonnement a trois formules : Basique (B), Standard (S), Premium (P). Chaque mois, les transitions sont données par le graphe probabiliste de matrice :

\(P = \begin{pmatrix} 0{,}6 & 0{,}4 & 0 \\ 0{,}2 & 0{,}5 & 0{,}3 \\ 0 & 0{,}3 & 0{,}7 \end{pmatrix}\)

Un client part en formule Standard : \(\pi(0) = (0 \;\; 1 \;\; 0)\). Calcule \(\pi(1)\).

Voir la correction de l’exercice 5

\(\pi(1) = \pi(0)\,P = (0 \;\; 1 \;\; 0)\,P\) sélectionne simplement la deuxième ligne de \(P\) :

\(\pi(1) = (0{,}2 \;\; 0{,}5 \;\; 0{,}3)\)

Vérification : \(0{,}2 + 0{,}5 + 0{,}3 = 1\) ✓. Après un mois : 20 % Basique, 50 % Standard, 30 % Premium.

Astuce : multiplier un vecteur de base \((0 \;\; 1 \;\; 0)\) par \(P\) revient toujours à lire la ligne correspondante.

---

Exercice 6 — Vers la prépa : état stable comme vecteur propre ★★★

On reprend la matrice \(P = \begin{pmatrix} 0{,}6 & 0{,}4 & 0 \\ 0{,}2 & 0{,}5 & 0{,}3 \\ 0 & 0{,}3 & 0{,}7 \end{pmatrix}\). Détermine la distribution invariante \(\pi = (x \;\; y \;\; z)\) et interprète-la comme vecteur propre.

Voir la correction de l’exercice 6

L’équation \(\pi P = \pi\) signifie que \(\pi\) est vecteur propre à gauche de \(P\) pour la valeur propre \(1\). On écrit le système coordonnée par coordonnée :

\(0{,}6x + 0{,}2y = x\)  →  \(0{,}2y = 0{,}4x\)  →  \(y = 2x\).

\(0\cdot x + 0{,}3y + 0{,}7z = z\)  →  \(0{,}3y = 0{,}3z\)  →  \(z = y = 2x\).

On impose la somme \(x + y + z = 1\) : \(x + 2x + 2x = 5x = 1\), donc \(x = \displaystyle\frac{1}{5}\).

\(\pi = \left(\displaystyle\frac{1}{5} \;\; \displaystyle\frac{2}{5} \;\; \displaystyle\frac{2}{5}\right) = (0{,}2 \;\; 0{,}4 \;\; 0{,}4)\)

Interprétation prépa : \(\pi\) est le vecteur propre de \({}^{t}P\) associé à la valeur propre \(1\), normalisé pour que la somme des coordonnées soit \(1\). À long terme : 20 % Basique, 40 % Standard, 40 % Premium.

---

XI. Ne pas confondre et erreurs fréquentes

• Oublier la condition de somme 1 en cherchant la distribution invariante (voir section VI).
• Confondre « sans mémoire » et « indépendance ». Les étapes ne sont pas indépendantes : \(X_{n+1}\) dépend de \(X_n\). Elle ne dépend simplement pas de ce qui précède \(X_n\).
• Croire que la convergence est automatique. Elle est garantie au lycée pour nos exemples, mais une chaîne périodique peut ne jamais converger — d’où les hypothèses étudiées en prépa.
• Confondre chaîne de Markov et inégalité de Markov (voir l’encadré d’introduction).

---

XII. Questions fréquentes

---

XIII. Pour aller plus loin

Tu maîtrises maintenant la définition, la matrice de transition et la distribution invariante. Pour approfondir :

• Inégalité de Markov : énoncé, démonstration et applications (du lycée à la prépa)
• Réussir les maths expertes en terminale et viser la prépa
• Probabilités Totales (Terminale) : Formule et Méthodes
• Le raisonnement par récurrence : principe, méthode et exemples