Rédigé et vérifié par un professeur diplômé de l’École Polytechnique, avec le niveau d’exigence attendu en classe préparatoire. Découvrir le professeur
Tu calcules une moyenne sur un échantillon pour estimer une moyenne inconnue, une variance pour estimer une variance de population. Mais rien ne garantit que ta formule vise juste. Un estimateur peut se tromper systématiquement, toujours dans le même sens : c’est le biais. Comprendre l’estimateur sans biais, c’est comprendre pourquoi on divise par \(n-1\) et pas par \(n\) pour la variance empirique — une des questions les plus posées en prépa et en L2.
En bref
Un estimateur sans biais d’un paramètre \(\theta\) est une statistique \(T\) dont l’espérance vaut exactement le paramètre : \(E(T) = \theta\). En moyenne sur tous les échantillons possibles, il ne surestime ni ne sous-estime la vraie valeur. La moyenne empirique estime sans biais l’espérance ; la variance empirique n’est sans biais que si l’on divise par \(n-1\).
I. Qu’est-ce qu’un estimateur ? Le vocabulaire de base
Avant de parler de biais, il faut poser le cadre proprement. En statistique inférentielle, on cherche à connaître un paramètre inconnu d’une population — une espérance, une variance, une proportion — à partir d’un échantillon. L’outil qui produit cette valeur approchée est l’estimateur.
A. Estimateur, estimation, statistique
On dispose d’un \(n\)-échantillon \((X_1, X_2, \dots, X_n)\), c’est-à-dire de \(n\) variables aléatoires indépendantes et de même loi que la variable parente \(X\) (on dit i.i.d.). Le paramètre cible est noté \(\theta\) : cela peut être \(\theta = E(X)\), \(\theta = V(X)\), une proportion \(p\), etc.
Définition — Estimateur
Un estimateur de \(\theta\) est une variable aléatoire \(T_n = f(X_1, \dots, X_n)\), fonction de l’échantillon mais ne dépendant pas de \(\theta\). Une réalisation \(t_n = f(x_1, \dots, x_n)\) calculée sur des données observées s’appelle une estimation (un nombre).
La distinction est capitale en prépa : l’estimateur \(T_n\) est une variable aléatoire (elle a une loi, une espérance, une variance), l’estimation \(t_n\) est un nombre (le résultat d’un calcul sur un échantillon particulier). Toute la théorie porte sur les propriétés de la variable aléatoire \(T_n\).
B. Le biais d’un estimateur
Un estimateur peut être excellent ou catastrophique. Le premier critère de qualité est de savoir s’il vise juste « en moyenne ». C’est exactement ce que mesure le biais.
Définition — Biais
Le biais d’un estimateur \(T_n\) du paramètre \(\theta\) est :
\(b(T_n) = E(T_n)- \theta\)
L’estimateur est dit sans biais lorsque \(b(T_n) = 0\), c’est-à-dire \(E(T_n) = \theta\). Il est dit biaisé sinon.
Intuitivement : si tu pouvais répéter l’expérience un très grand nombre de fois, en tirant à chaque fois un nouvel échantillon et en recalculant \(T_n\), la moyenne de toutes ces valeurs tendrait vers \(E(T_n)\). Un estimateur sans biais a cette moyenne exactement égale à la cible \(\theta\) : il ne dévie pas systématiquement dans un sens. Un estimateur biaisé, lui, se trompe toujours du même côté, quel que soit l’échantillon.
C. Notations : \(\bar{x}\), \(s\), \(\mu\), \(\sigma\)
La source de la moitié des erreurs de copie est une confusion de notation entre les grandeurs théoriques (celles de la population, inconnues) et les grandeurs empiriques (celles de l’échantillon, calculées). Fixe ce tableau une fois pour toutes.
| Symbole | Signification | Nature |
|---|---|---|
| \(\mu\) | Espérance (moyenne) de la population | Théorique, inconnue |
| \(\sigma^2\) | Variance de la population | Théorique, inconnue |
| \(\sigma\) | Écart-type de la population | Théorique, inconnu |
| \(\bar{X}_n\) ou \(\bar{x}\) | Moyenne empirique de l’échantillon | Aléatoire / calculée |
| \(S_n^2\) ou \(s^2\) | Variance empirique corrigée (division par \(n-1\)) | Aléatoire / calculée |
| \(S_n\) ou \(s\) | Écart-type empirique | Aléatoire / calculé |
Convention de ce cours : la majuscule (\(\bar{X}_n\), \(S_n^2\)) désigne la variable aléatoire, la minuscule (\(\bar{x}\), \(s^2\)) la valeur observée. La moyenne empirique se définit par :
\(\bar{X}_n = \displaystyle\frac{1}{n}\sum_{i=1}^{n} X_i\)Ces notations sont directement liées aux notions de population et d’échantillon vues sur le pilier échantillonnage, ainsi qu’aux définitions théoriques de l’espérance et de la variance.
II. Les estimateurs fondamentaux et leurs propriétés
Deux estimateurs reviennent en permanence : la moyenne empirique pour estimer \(\mu\), et la variance empirique pour estimer \(\sigma^2\). Le premier est un cas d’école du « sans biais », le second va nous obliger à corriger la formule naïve.
A. La moyenne empirique est sans biais
C’est le résultat le plus simple et le plus utilisé du chapitre. Démontrons-le rigoureusement.
Propriété
Si \((X_1, \dots, X_n)\) est un échantillon i.i.d. de même loi que \(X\) avec \(E(X) = \mu\), alors \(\bar{X}_n\) est un estimateur sans biais de \(\mu\) :
\(E(\bar{X}_n) = \mu\)
Démonstration. Par linéarité de l’espérance, et comme chaque \(X_i\) a la même espérance \(\mu\) :
\(E(\bar{X}_n) = E\!\left(\displaystyle\frac{1}{n}\sum_{i=1}^{n} X_i\right) = \displaystyle\frac{1}{n}\sum_{i=1}^{n} E(X_i) = \displaystyle\frac{1}{n} \times n\mu = \mu\)Le biais est nul : \(b(\bar{X}_n) = \mu- \mu = 0\). ∎
Notons au passage sa variance, car elle sera cruciale pour la convergence. Par indépendance des \(X_i\) :
\(V(\bar{X}_n) = V\!\left(\displaystyle\frac{1}{n}\sum_{i=1}^{n} X_i\right) = \displaystyle\frac{1}{n^2}\sum_{i=1}^{n} V(X_i) = \displaystyle\frac{1}{n^2} \times n\sigma^2 = \displaystyle\frac{\sigma^2}{n}\)Cette variance tend vers \(0\) quand \(n \to +\infty\) : c’est ce qui fait de \(\bar{X}_n\) un excellent estimateur, et c’est le cœur de la loi des grands nombres.
L’essentiel de l’estimateur sans biais sur une fiche
Définitions, démonstration du n−1, critère de convergence et pièges classiques, condensés sur un recto-verso prêt à imprimer.
📄 Télécharger la fiche de coursTout le cours révisable en 5 minutes avant une colle.
B. La variance empirique « naïve » est biaisée
La tentation naturelle est d’imiter la variance théorique en remplaçant \(\mu\) par \(\bar{X}_n\) et l’espérance par une moyenne. On obtient l’estimateur suivant, souvent noté \(V_n\) :
\(V_n = \displaystyle\frac{1}{n}\sum_{i=1}^{n} (X_i- \bar{X}_n)^2\)Surprise : cet estimateur sous-estime systématiquement la variance. Démontrons-le, c’est l’une des démonstrations les plus formatrices du chapitre.
Démonstration. On part de l’identité algébrique (à connaître) :
\(\displaystyle\sum_{i=1}^{n} (X_i- \bar{X}_n)^2 = \sum_{i=1}^{n} X_i^2- n\bar{X}_n^2\)On prend l’espérance des deux membres. Pour chaque terme, on utilise la formule de König-Huygens \(E(Y^2) = V(Y) + \big(E(Y)\big)^2\) :
- \(E(X_i^2) = V(X_i) + \big(E(X_i)\big)^2 = \sigma^2 + \mu^2\)
- \(E(\bar{X}_n^2) = V(\bar{X}_n) + \big(E(\bar{X}_n)\big)^2 = \displaystyle\frac{\sigma^2}{n} + \mu^2\)
On assemble :
\(E\!\left(\displaystyle\sum_{i=1}^{n} (X_i- \bar{X}_n)^2\right) = n(\sigma^2 + \mu^2)- n\!\left(\displaystyle\frac{\sigma^2}{n} + \mu^2\right)\) \(= n\sigma^2 + n\mu^2- \sigma^2- n\mu^2 = (n-1)\sigma^2\)Il en résulte immédiatement :
\(E(V_n) = \displaystyle\frac{1}{n} \times (n-1)\sigma^2 = \displaystyle\frac{n-1}{n}\,\sigma^2\)Le biais vaut donc \(b(V_n) = \displaystyle\frac{n-1}{n}\sigma^2- \sigma^2\), soit \(b(V_n) = -\displaystyle\frac{\sigma^2}{n}\) < \(0\). L’estimateur naïf sous-estime toujours la variance, d’autant plus que \(n\) est petit. ∎
C. La variance empirique corrigée : la division par \(n-1\)
La solution saute aux yeux : pour compenser le facteur \(\displaystyle\frac{n-1}{n}\), il suffit de diviser par \(n-1\) au lieu de \(n\).
Propriété — Variance empirique corrigée (correction de Bessel)
L’estimateur
\(S_n^2 = \displaystyle\frac{1}{n-1}\sum_{i=1}^{n} (X_i- \bar{X}_n)^2\)
est un estimateur sans biais de la variance \(\sigma^2\) : \(E(S_n^2) = \sigma^2\).
Démonstration. Directement à partir du calcul précédent :
\(E(S_n^2) = \displaystyle\frac{1}{n-1}\,E\!\left(\sum_{i=1}^{n} (X_i- \bar{X}_n)^2\right) = \displaystyle\frac{1}{n-1} \times (n-1)\sigma^2 = \sigma^2\) ∎
La véritable explication intuitive du « \(n-1\) » : on a utilisé les données deux fois, d’abord pour estimer \(\mu\) par \(\bar{X}_n\), puis pour mesurer la dispersion autour de cette estimation. Or \(\bar{X}_n\) est, par construction, le point qui minimise la somme des carrés \(\sum (x_i- a)^2\). Les écarts à \(\bar{X}_n\) sont donc plus petits que les écarts au vrai \(\mu\) : on perd un degré de liberté. Diviser par \(n-1\) (le nombre de degrés de liberté restants) répare exactement cette perte.
Vérification empirique (effet wow) — On peut voir le biais « en direct » par simulation. Le code ci-dessous tire 100 000 échantillons de taille \(n=5\) d’une loi de variance \(\sigma^2 = 1\), et compare la moyenne des deux estimateurs.
import numpy as np
n, N = 5, 100_000
naif, corrige = [], []
for _ in range(N):
ech = np.random.normal(0, 1, n) # variance theorique = 1
m = ech.mean()
S = ((ech - m)**2).sum()
naif.append(S / n) # division par n
corrige.append(S / (n - 1)) # division par n-1
print(round(np.mean(naif), 3)) # ~0.800 = (n-1)/n = 4/5
print(round(np.mean(corrige), 3)) # ~1.000 <- sans biaisOn lit \(\approx 0{,}8 = \displaystyle\frac{n-1}{n}\) pour l’estimateur naïf, et \(\approx 1\) pour l’estimateur corrigé. La théorie est confirmée au chiffre près.
D. Et l’écart-type ? Un piège subtil
On pourrait croire que puisque \(S_n^2\) est sans biais pour \(\sigma^2\), sa racine \(S_n = \sqrt{S_n^2}\) est sans biais pour \(\sigma\). C’est faux.
La fonction racine carrée est concave. L’inégalité de Jensen donne, pour une variable non constante :
\(E(S_n) = E\!\left(\sqrt{S_n^2}\right)\) < \(\sqrt{E(S_n^2)} = \sqrt{\sigma^2} = \sigma\)
Donc \(E(S_n)\) < \(\sigma\) : l’écart-type empirique est biaisé et sous-estime \(\sigma\). Le biais est en général faible et décroît en \(1/n\), mais il existe. C’est pourquoi on parle de « variance empirique sans biais » et rarement d’« écart-type sans biais ». Retiens le principe général : la propriété « sans biais » ne se transmet pas par composition avec une fonction non affine.
Pour le rappel des définitions théoriques de la variance et de l’écart-type d’une variable aléatoire (à distinguer de leurs versions empiriques traitées ici), consulte les pages dédiées du cocon.
III. Au-delà du biais : convergence, MSE et efficacité
Être sans biais est nécessaire mais insuffisant. Un estimateur peut viser juste « en moyenne » tout en donnant des résultats catastrophiques sur chaque échantillon particulier. Il faut donc d’autres critères : la convergence et le risque quadratique.
A. L’estimateur convergent
Définition — Estimateur convergent
Une suite d’estimateurs \((T_n)\) est convergente (ou consistante) si \(T_n\) converge en probabilité vers \(\theta\), c’est-à-dire : pour tout \(\varepsilon\) > \(0\),
\(\displaystyle\lim_{n \to +\infty} P\big(|T_n- \theta| \geq \varepsilon\big) = 0\)
La convergence est la vraie garantie utile : plus l’échantillon est grand, plus l’estimation a de chances d’être proche de la cible. Voici un critère suffisant très pratique, qui relie directement ce chapitre à l’inégalité de Bienaymé-Tchebychev.
Théorème — Critère de convergence
Si \(E(T_n) \to \theta\) et \(V(T_n) \to 0\) quand \(n \to +\infty\), alors \((T_n)\) est convergent.
Démonstration. Supposons d’abord \(T_n\) sans biais, \(E(T_n) = \theta\). L’inégalité de Bienaymé-Tchebychev appliquée à \(T_n\) donne, pour tout \(\varepsilon\) > \(0\) :
\(P\big(|T_n- \theta| \geq \varepsilon\big) \leq \displaystyle\frac{V(T_n)}{\varepsilon^2}\)Comme \(V(T_n) \to 0\), le majorant tend vers \(0\), donc la probabilité aussi. (Le cas \(E(T_n) \to \theta\) sans égalité exacte se traite par une décomposition \(|T_n-\theta| \leq |T_n- E(T_n)| + |E(T_n)-\theta|\).) ∎
Application immédiate : \(\bar{X}_n\) est sans biais et \(V(\bar{X}_n) = \displaystyle\frac{\sigma^2}{n} \to 0\), donc \(\bar{X}_n\) est convergent. C’est une version de la loi faible des grands nombres.
B. Estimateur asymptotiquement sans biais
Que faire d’un estimateur biaisé mais dont le biais s’évanouit avec \(n\) ? On l’accepte souvent, car il devient « bon » à grande taille.
Définition
\((T_n)\) est asymptotiquement sans biais si \(\displaystyle\lim_{n \to +\infty} E(T_n) = \theta\), c’est-à-dire si \(b(T_n) \to 0\).
Exemple type : l’estimateur naïf \(V_n\) de la variance. On a \(E(V_n) = \displaystyle\frac{n-1}{n}\sigma^2 \to \sigma^2\). Il est biaisé à taille finie, mais asymptotiquement sans biais. Un estimateur sans biais est toujours asymptotiquement sans biais ; la réciproque est fausse.
C. Risque quadratique et compromis biais-variance
Le critère qui synthétise tout est le risque quadratique moyen (MSE), qui mesure l’erreur totale d’estimation.
Définition — Risque quadratique
Le risque quadratique (ou erreur quadratique moyenne) d’un estimateur \(T_n\) est :
\(R(T_n) = E\big[(T_n- \theta)^2\big]\)
La décomposition fondamentale, à savoir démontrer, sépare l’erreur en deux parties :
\(R(T_n) = V(T_n) + \big(b(T_n)\big)^2\)Démonstration. En introduisant \(E(T_n)\) :
\(R(T_n) = E\big[(T_n- E(T_n) + E(T_n)- \theta)^2\big]\)Le terme croisé s’annule car \(E\big[T_n- E(T_n)\big] = 0\) et \(E(T_n)- \theta\) est une constante. Il reste :
\(R(T_n) = \underbrace{E\big[(T_n- E(T_n))^2\big]}_{V(T_n)} + \underbrace{\big(E(T_n)- \theta\big)^2}_{b(T_n)^2}\) ∎
Le compromis biais-variance — Un estimateur sans biais (\(b=0\)) minimise la seconde partie mais pas forcément la première. Il arrive qu’un estimateur légèrement biaisé, mais de variance beaucoup plus faible, ait un risque quadratique plus petit. En pratique, on ne cherche donc pas toujours le « sans biais » à tout prix : on minimise le risque total.
D. Efficacité (ouverture)
Parmi tous les estimateurs sans biais d’un même paramètre, celui de plus petite variance est dit efficace. La borne de Cramér-Rao donne une limite inférieure théorique à cette variance. Ce point relève du cours de deuxième année approfondi ou de L3 ; retiens simplement la hiérarchie : sans biais → convergent → efficace, chaque cran ajoutant une exigence.
IV. Ne pas confondre : biais, convergence et efficacité
Ces trois propriétés sont indépendantes et régulièrement mélangées dans les copies. Le tableau suivant les compare terme à terme.
| Critère | Question posée | Traduction formelle |
|---|---|---|
| Sans biais | Vise-t-il juste en moyenne, à taille fixée ? | \(E(T_n) = \theta\) |
| Asympt. sans biais | Le biais disparaît-il quand \(n\) grandit ? | \(E(T_n) \to \theta\) |
| Convergent | Se rapproche-t-il de \(\theta\) avec \(n\) ? | \(P(|T_n-\theta|\geq\varepsilon)\to 0\) |
| Efficace | A-t-il la plus petite variance parmi les sans biais ? | \(V(T_n)\) minimale |
Le point contre-intuitif à retenir : sans biais et convergent sont indépendants. L’estimateur \(T_n = X_1\) (on ne garde que la première observation) vérifie \(E(X_1) = \mu\) : il est sans biais. Mais \(V(X_1) = \sigma^2\) ne tend pas vers \(0\) : il n’est pas convergent. À l’inverse, l’estimateur naïf \(V_n\) est biaisé, mais convergent. Un bon estimateur cumule idéalement les deux.
En une phrase : « sans biais » juge l’estimateur à taille fixée, « convergent » juge son comportement à l’infini — l’un n’implique jamais l’autre.
A. Les erreurs classiques
Erreur n°1 — Diviser par \(n\) pour la variance empirique. C’est l’erreur reine. Pour un estimateur sans biais de \(\sigma^2\), la division se fait par \(n-1\). Diviser par \(n\) donne un estimateur qui sous-estime \(\sigma^2\) d’un facteur \(\displaystyle\frac{n-1}{n}\). En copie, écris \(S_n^2 = \displaystyle\frac{1}{n-1}\sum (X_i- \bar{X}_n)^2\) et justifie le \(n-1\) par le calcul d’espérance.
Erreur n°2 — Croire que \(S_n\) est sans biais parce que \(S_n^2\) l’est. La racine carrée est concave : par Jensen, \(E(S_n)\) < \(\sigma\). L’écart-type empirique est biaisé. Ne jamais « transporter » le sans-biais à travers une fonction non affine.
Erreur n°3 — Confondre sans biais et convergent. Un estimateur sans biais peut ne pas être convergent (ex. \(T_n = X_1\)), et un estimateur convergent peut être biaisé (ex. \(V_n\)). Toujours vérifier les deux propriétés séparément : espérance pour le biais, variance/limite pour la convergence.
V. Applications corrigées
Quatre exercices de difficulté croissante, du calcul direct au raisonnement de comparaison. Cherche avant d’ouvrir la correction. Pour un entraînement complet type concours, retrouve aussi les exercices sur l’estimation dans la page dédiée à l’intervalle de confiance.
Exercice 1 — Vérifier qu’un estimateur est sans biais ★
Soit \((X_1, \dots, X_n)\) un échantillon i.i.d. de loi de Bernoulli de paramètre \(p\) inconnu. On pose \(\hat{p}_n = \bar{X}_n\). Montrer que \(\hat{p}_n\) est un estimateur sans biais de \(p\), puis calculer sa variance et conclure sur sa convergence.
Voir la correction de l’exercice 1
Pour une loi de Bernoulli, \(E(X_i) = p\) et \(V(X_i) = p(1-p)\).
Biais : par linéarité, \(E(\hat{p}_n) = \displaystyle\frac{1}{n}\sum_{i=1}^n E(X_i) = \displaystyle\frac{1}{n}\times np = p\). Donc \(\hat{p}_n\) est sans biais.
Variance : par indépendance, \(V(\hat{p}_n) = \displaystyle\frac{1}{n^2}\times n\,p(1-p) = \displaystyle\frac{p(1-p)}{n}\).
Comme \(E(\hat{p}_n) = p\) et \(V(\hat{p}_n) \to 0\), le critère de convergence s’applique : \(\hat{p}_n\) est un estimateur sans biais et convergent de \(p\).
Exercice 2 — Sans biais mais non convergent ★
Soit \((X_1, \dots, X_n)\) un échantillon i.i.d. d’espérance \(\mu\) et de variance \(\sigma^2\) > \(0\). On considère l’estimateur \(T_n = X_1\) (la première observation seulement). Cet estimateur est-il sans biais ? Est-il convergent ? Commenter.
Voir la correction de l’exercice 2
Biais : \(E(T_n) = E(X_1) = \mu\). L’estimateur est sans biais, quelle que soit la taille \(n\).
Convergence : \(V(T_n) = V(X_1) = \sigma^2\). Cette variance ne dépend pas de \(n\) et ne tend donc pas vers \(0\). Le critère suffisant ne s’applique pas ; en fait, la loi de \(T_n\) est toujours celle de \(X\), donc \(T_n\) ne se concentre jamais autour de \(\mu\) : il n’est pas convergent.
Conclusion : augmenter la taille de l’échantillon n’améliore en rien \(T_n\), qui ignore toutes les données sauf une. C’est le contre-exemple canonique montrant que « sans biais » n’implique pas « convergent » : il faut aussi que la variance décroisse.
Exercice 3 — Estimateur de la borne d’une loi uniforme ★★
Soit \((X_1, \dots, X_n)\) un échantillon i.i.d. de loi uniforme sur \(\left[0\,;\theta\right]\), avec \(\theta\) > \(0\) inconnu. On propose l’estimateur \(T_n = 2\bar{X}_n\). Montrer qu’il est sans biais, puis calculer son risque quadratique.
Voir la correction de l’exercice 3
Pour \(X \sim \mathcal{U}(\left[0\,;\theta\right])\), on a \(E(X) = \displaystyle\frac{\theta}{2}\) et \(V(X) = \displaystyle\frac{\theta^2}{12}\).
Biais : \(E(T_n) = 2\,E(\bar{X}_n) = 2 \times \displaystyle\frac{\theta}{2} = \theta\). L’estimateur est sans biais.
Comme il est sans biais, le risque quadratique se réduit à sa variance :
\(R(T_n) = V(2\bar{X}_n) = 4\,V(\bar{X}_n) = 4 \times \displaystyle\frac{\sigma^2}{n} = \displaystyle\frac{4}{n}\times\displaystyle\frac{\theta^2}{12} = \displaystyle\frac{\theta^2}{3n}\)Conclusion : \(T_n = 2\bar{X}_n\) est sans biais et convergent (variance en \(1/n\)), de risque quadratique \(\displaystyle\frac{\theta^2}{3n}\). On verra à l’exercice suivant qu’on peut faire beaucoup mieux.
Exercice 4 — Comparaison de deux estimateurs ★★★
Même cadre qu’à l’exercice 3 (\(\mathcal{U}(\left[0\,;\theta\right])\)). On pose \(M_n = \max(X_1, \dots, X_n)\). On admet que \(E(M_n) = \displaystyle\frac{n}{n+1}\theta\) et \(V(M_n) = \displaystyle\frac{n}{(n+1)^2(n+2)}\theta^2\).
1. \(M_n\) est-il sans biais ? Construire à partir de \(M_n\) un estimateur \(\tilde{\theta}_n\) sans biais de \(\theta\).
2. Comparer le risque quadratique de \(\tilde{\theta}_n\) à celui de \(T_n = 2\bar{X}_n\) pour \(n\) grand. Quel estimateur choisir ?
Voir la correction de l’exercice 4
1. \(E(M_n) = \displaystyle\frac{n}{n+1}\theta \neq \theta\) : \(M_n\) est biaisé (il sous-estime \(\theta\), ce qui est logique : un maximum d’observations ne dépasse jamais \(\theta\)). Pour corriger, on multiplie par l’inverse du facteur :
\(\tilde{\theta}_n = \displaystyle\frac{n+1}{n}\,M_n \quad\Longrightarrow\quad E(\tilde{\theta}_n) = \displaystyle\frac{n+1}{n}\times\displaystyle\frac{n}{n+1}\theta = \theta\)\(\tilde{\theta}_n\) est sans biais.
2. Comme \(\tilde{\theta}_n\) est sans biais, son risque vaut sa variance :
\(R(\tilde{\theta}_n) = \left(\displaystyle\frac{n+1}{n}\right)^2 V(M_n) = \left(\displaystyle\frac{n+1}{n}\right)^2 \displaystyle\frac{n}{(n+1)^2(n+2)}\theta^2 = \displaystyle\frac{\theta^2}{n(n+2)}\)Comparons les deux risques :
\(R(T_n) = \displaystyle\frac{\theta^2}{3n} \quad\text{et}\quad R(\tilde{\theta}_n) = \displaystyle\frac{\theta^2}{n(n+2)}\)Le premier décroît en \(\displaystyle\frac{1}{n}\), le second en \(\displaystyle\frac{1}{n^2}\). Pour \(n\) grand, \(R(\tilde{\theta}_n) \ll R(T_n)\).
Conclusion : les deux estimateurs sont sans biais, mais \(\tilde{\theta}_n\) (fondé sur le maximum) a une variance d’un ordre de grandeur inférieur. On le préfère nettement. Cet exercice illustre que le critère « sans biais » ne suffit pas à départager deux estimateurs : c’est le risque quadratique qui tranche.
VI. Questions fréquentes
Qu’est-ce qu’un estimateur sans biais, simplement ?
Un estimateur sans biais d’un paramètre \(\theta\) est une statistique \(T\) telle que \(E(T) = \theta\). Concrètement : si l’on répétait l’expérience un grand nombre de fois en recalculant \(T\) à chaque nouvel échantillon, la moyenne de ces valeurs viserait exactement \(\theta\). L’estimateur ne se trompe pas systématiquement dans un sens.
Pourquoi divise-t-on par n moins 1 pour la variance ?
Parce que l’estimateur naïf \(\displaystyle\frac{1}{n}\sum(X_i- \bar{X}_n)^2\) a pour espérance \(\displaystyle\frac{n-1}{n}\sigma^2\) : il sous-estime \(\sigma^2\). On mesure les écarts autour de \(\bar{X}_n\), qui minimise déjà la somme des carrés, d’où une perte d’un degré de liberté. Diviser par \(n-1\) (correction de Bessel) compense exactement ce facteur et rend l’estimateur sans biais.
Quelle est la différence entre estimateur sans biais et estimateur convergent ?
« Sans biais » juge l’estimateur à taille d’échantillon fixée : \(E(T_n) = \theta\). « Convergent » juge son comportement à l’infini : \(T_n\) se concentre autour de \(\theta\) quand \(n \to +\infty\). Les deux sont indépendants : \(T_n = X_1\) est sans biais mais non convergent ; l’estimateur naïf de la variance est convergent mais biaisé. Un bon estimateur vérifie les deux.
L’écart-type empirique est-il sans biais ?
Non. Même si la variance corrigée \(S_n^2\) est sans biais, sa racine \(S_n\) ne l’est pas : la racine carrée étant concave, l’inégalité de Jensen donne \(E(S_n)\) < \(\sigma\). L’écart-type empirique sous-estime donc \(\sigma\). Le biais est faible et décroît avec \(n\), mais il existe.
Qu’est-ce qu’un estimateur asymptotiquement sans biais ?
C’est un estimateur dont le biais tend vers zéro quand la taille de l’échantillon augmente : \(E(T_n) \to \theta\). Il peut être biaisé à taille finie mais devient « juste » à grande échelle. Exemple : la variance empirique naïve \(V_n\), d’espérance \(\displaystyle\frac{n-1}{n}\sigma^2 \to \sigma^2\). Tout estimateur sans biais est asymptotiquement sans biais, mais pas l’inverse.
Un estimateur biaisé est-il forcément mauvais ?
Non. Le risque quadratique se décompose en \(V(T_n) + b(T_n)^2\). Un estimateur légèrement biaisé mais de très faible variance peut avoir un risque total inférieur à un estimateur sans biais de forte variance. En statistique moderne, on cherche à minimiser le risque global, pas à imposer le sans-biais à tout prix : c’est le compromis biais-variance.
VII. Pour aller plus loin
Tu maîtrises maintenant le biais, la convergence et le risque quadratique. Pour prolonger vers l’estimation en pratique et les lois qui la sous-tendent :
