Rédigé et vérifié par un professeur diplômé de l’École Polytechnique, avec le niveau d’exigence attendu en classe préparatoire. Découvrir le professeur
Face à un nuage de points expérimentaux, une question revient sans cesse : quelle droite « colle » le mieux aux données ? La réponse n’est ni un choix esthétique, ni un tracé à main levée. C’est un problème d’optimisation qui admet une unique solution, et cette solution cache l’un des plus beaux résultats de l’algèbre euclidienne : la régression linéaire est une projection orthogonale. Cet article démontre les formules des moindres carrés, les relie à la géométrie des espaces préhilbertiens, et t’entraîne sur des exercices calibrés post-bac.
I. Le problème des moindres carrés
On dispose d’une série statistique double : deux caractères quantitatifs mesurés sur les mêmes individus, ce qui donne un ensemble de couples \((x_i, y_i)\). On soupçonne une relation affine entre \(x\) (la variable explicative) et \(y\) (la variable à expliquer). Le rôle de la régression est de quantifier cette relation en produisant la droite « optimale », puis de mesurer la confiance qu’on peut lui accorder.
A. Position du problème
Considérons le nuage de \(n\) points \(M_i(x_i, y_i)\) dans le plan. Pour une droite d’équation \(y = ax + b\), on définit l’ordonnée ajustée \(\hat{y}_i = a x_i + b\) et le résidu \(e_i = y_i – \hat{y}_i\), c’est-à-dire l’écart vertical entre le point observé et la droite. L’idée naïve serait de « rendre les résidus petits ». Mais petits en quel sens ? Leur somme peut valoir zéro avec des résidus énormes qui se compensent. Il faut un critère qui pénalise tous les écarts sans compensation.
B. Définition formelle
Définition — Droite de régression au sens des moindres carrés
Soit un nuage de \(n\) points \((x_i, y_i)_{1 \leq i \leq n}\) dont les abscisses ne sont pas toutes égales. On appelle droite de régression de \(y\) en \(x\) la droite d’équation \(y = ax + b\) qui minimise la fonction :
\(S(a, b) = \displaystyle\sum_{i=1}^{n} \left(y_i – (a x_i + b)\right)^2\)
La quantité \(S(a,b)\) est la somme des carrés des résidus (SCR). Le couple \((a, b)\) qui la minimise fournit la meilleure droite au sens des moindres carrés.
Le mot « meilleure » n’a donc de sens que relativement à ce critère. Changer le critère change la droite. C’est un point que la plupart des tutoriels de machine learning passent sous silence : ils appliquent la formule sans jamais interroger le choix du carré.
C. Pourquoi les carrés, et pas les valeurs absolues ?
L’enjeu caché du critère. On pourrait minimiser \(\sum |y_i – a x_i – b|\) (régression en valeur absolue, qui donne d’ailleurs la médiane comme cas particulier). Deux raisons imposent le carré en prépa :
- Dérivabilité. La fonction \(t \mapsto t^2\) est de classe \(C^\infty\) ; on peut annuler un gradient. La valeur absolue n’est pas dérivable en \(0\).
- Unicité et géométrie. \(S\) est une forme quadratique convexe : son minimum est unique et coïncide avec une projection orthogonale (section III). La valeur absolue, elle, peut donner une infinité de solutions.
Ce critère du carré n’est pas arbitraire : c’est celui qui transforme un problème d’optimisation en un simple problème d’algèbre linéaire. C’est précisément cette structure que nous allons exploiter pour obtenir les formules.
II. Les formules de la droite de régression
Avant d’énoncer le théorème, fixons les notations statistiques. On note les moyennes \(\bar{x} = \displaystyle\frac{1}{n}\sum_{i=1}^n x_i\) et \(\bar{y} = \displaystyle\frac{1}{n}\sum_{i=1}^n y_i\). On introduit la variance empirique de \(x\) et la covariance :
\(V(x) = \displaystyle\frac{1}{n}\sum_{i=1}^n (x_i – \bar{x})^2, \qquad \mathrm{Cov}(x,y) = \displaystyle\frac{1}{n}\sum_{i=1}^n (x_i – \bar{x})(y_i – \bar{y})\)A. Théorème et démonstration
Théorème — Coefficients des moindres carrés
Si les \(x_i\) ne sont pas tous égaux (donc \(V(x) \neq 0\)), la fonction \(S\) admet un unique minimum, atteint pour :
\(a = \displaystyle\frac{\mathrm{Cov}(x,y)}{V(x)} \qquad \text{et} \qquad b = \bar{y} – a\,\bar{x}\)
Démonstration. La fonction \(S : \mathbb{R}^2 \to \mathbb{R}\) est polynomiale, donc de classe \(C^1\). C’est une somme de carrés d’expressions affines en \((a,b)\) : sa partie quadratique est positive, \(S\) est convexe. Un point critique sera donc un minimum global. Calculons les dérivées partielles :
\(\displaystyle\frac{\partial S}{\partial b} = -2\sum_{i=1}^n \left(y_i – a x_i – b\right), \qquad \displaystyle\frac{\partial S}{\partial a} = -2\sum_{i=1}^n x_i\left(y_i – a x_i – b\right)\)L’annulation de \(\partial S / \partial b\) donne \(\sum y_i = a\sum x_i + nb\), soit en divisant par \(n\) :
\(\bar{y} = a\bar{x} + b \quad\Longrightarrow\quad b = \bar{y} – a\bar{x}\)L’annulation de \(\partial S / \partial a\) donne \(\sum x_i y_i = a\sum x_i^2 + b\sum x_i\). On y injecte \(b = \bar{y} – a\bar{x}\) et \(\sum x_i = n\bar{x}\) :
\(\displaystyle\sum_{i=1}^n x_i y_i – n\bar{x}\bar{y} = a\left(\sum_{i=1}^n x_i^2 – n\bar{x}^2\right)\)On reconnaît les formules de König-Huygens : \(\sum x_i y_i – n\bar{x}\bar{y} = n\,\mathrm{Cov}(x,y)\) et \(\sum x_i^2 – n\bar{x}^2 = n\,V(x)\). D’où \(a = \mathrm{Cov}(x,y)/V(x)\). Enfin, le hessien de \(S\) est \(2\begin{pmatrix} \sum x_i^2 & \sum x_i \\ \sum x_i & n \end{pmatrix}\), de déterminant \(4n\big(\sum x_i^2 – n\bar x^2\big) = 4n^2 V(x)\) \(\gt 0\) : le point critique est bien un minimum strict. ∎
B. La droite passe par le point moyen
La relation \(b = \bar{y} – a\bar{x}\) a une conséquence géométrique remarquable et systématiquement demandée en concours.
Propriété — Point moyen
La droite de régression de \(y\) en \(x\) passe toujours par le point moyen \(G(\bar{x}, \bar{y})\).
Démonstration (trois lignes). L’ordonnée de la droite au point d’abscisse \(\bar{x}\) vaut \(a\bar{x} + b = a\bar{x} + (\bar{y} – a\bar{x}) = \bar{y}\). Donc \(G(\bar{x}, \bar{y})\) appartient à la droite. ∎
C. Il existe deux droites de régression
Attention à une dissymétrie fondamentale : régresser \(y\) sur \(x\) n’est pas la même chose que régresser \(x\) sur \(y\). En échangeant les rôles, on minimise cette fois la somme des carrés des écarts horizontaux, et on obtient une seconde droite de coefficient directeur \(a’ = \mathrm{Cov}(x,y)/V(y)\) (dans le repère \((x,y)\), sa pente est \(1/a’\)).
Piège fréquent : croire qu’il n’y a qu’une droite « naturelle ». Les deux droites de régression se coupent en \(G\) mais ne coïncident que dans un cas limite : lorsque la corrélation est parfaite (\(r = \pm 1\)). Plus le nuage est dispersé, plus l’angle entre elles est grand.
Ces formules explicites suffisent pour la régression simple. Mais elles masquent la structure profonde du problème. Passons du calcul à la géométrie : c’est là que la prépa fait la différence.
La méthode des moindres carrés en 1 page claire
Formules, démonstration de la projection orthogonale et procédure de calcul : tout l’essentiel synthétisé pour tes révisions de concours.
📄 Télécharger la fiche PDFGratuit — prêt à imprimer et à glisser dans ton classeur.
III. Interprétation géométrique : la projection orthogonale
Voici l’angle que ne traite aucun des résultats orientés data science de la première page Google : la méthode des moindres carrés est une projection orthogonale dans \(\mathbb{R}^n\). Comprendre cela, c’est comprendre pourquoi la solution existe, est unique, et se généralise sans effort à la régression multiple.
A. Formulation matricielle
Rangeons les données dans des vecteurs de \(\mathbb{R}^n\). On pose le vecteur des observations \(Y = (y_1, \dots, y_n)^{\top}\), et la matrice de plan d’expérience :
\(X = \begin{pmatrix} x_1 & 1 \\ x_2 & 1 \\ \vdots & \vdots \\ x_n & 1 \end{pmatrix} \in \mathcal{M}_{n,2}(\mathbb{R}), \qquad \beta = \begin{pmatrix} a \\ b \end{pmatrix}\)Alors le vecteur des valeurs ajustées est \(X\beta = (a x_1 + b, \dots, a x_n + b)^{\top}\) et le critère des moindres carrés s’écrit avec la norme euclidienne canonique :
\(S(a,b) = \|Y – X\beta\|^2\)Reformulation-clé. Minimiser \(S\) revient à chercher le vecteur de la forme \(X\beta\) le plus proche de \(Y\). Or l’ensemble \(\{X\beta \mid \beta \in \mathbb{R}^2\} = \mathrm{Im}(X)\) est un sous-espace vectoriel de \(\mathbb{R}^n\) (le plan engendré par le vecteur des \(x_i\) et le vecteur constant \(\mathbf{1}\)). On cherche donc le point de ce sous-espace le plus proche de \(Y\).
B. Théorème de projection et équations normales
On mobilise ici le théorème central des espaces euclidiens : dans un espace de dimension finie muni d’un produit scalaire, pour tout vecteur \(Y\) et tout sous-espace \(F\), le minimum de \(\|Y – v\|\) pour \(v \in F\) existe, est unique, et est atteint en la projection orthogonale \(p_F(Y)\), caractérisée par \(Y – p_F(Y) \perp F\).
Théorème — Équations normales
Le vecteur \(\hat{Y} = X\hat{\beta}\) réalisant le minimum de \(\|Y – X\beta\|^2\) est la projection orthogonale de \(Y\) sur \(\mathrm{Im}(X)\). Le coefficient \(\hat{\beta}\) vérifie les équations normales :
\(X^{\top} X\,\hat{\beta} = X^{\top} Y\)
Si \(X\) est de rang \(2\) (les \(x_i\) non tous égaux), la matrice \(X^{\top}X\) est inversible et :
\(\hat{\beta} = \left(X^{\top} X\right)^{-1} X^{\top} Y\)
Démonstration. Par le théorème de projection, \(\hat{Y}\) est caractérisé par \(Y – \hat{Y} \perp \mathrm{Im}(X)\), c’est-à-dire que le résidu \(Y – X\hat{\beta}\) est orthogonal à toutes les colonnes de \(X\). En notant que les colonnes engendrent l’image, cela s’écrit \(X^{\top}(Y – X\hat{\beta}) = 0\), soit \(X^{\top}X\hat{\beta} = X^{\top}Y\). Reste l’inversibilité de \(X^{\top}X\) : pour \(u \in \mathbb{R}^2\), \(u^{\top}X^{\top}Xu = \|Xu\|^2 \geq 0\), nul seulement si \(Xu = 0\). Comme \(X\) est de rang \(2\), \(\ker X = \{0\}\) et \(X^{\top}X\) est définie positive, donc inversible. ∎
Vérification : on retrouve les formules statistiques. Écrivons \(X^{\top}X = \begin{pmatrix} \sum x_i^2 & \sum x_i \\ \sum x_i & n \end{pmatrix}\) et \(X^{\top}Y = \begin{pmatrix} \sum x_i y_i \\ \sum y_i \end{pmatrix}\). La seconde ligne de \(X^{\top}X\hat\beta = X^{\top}Y\) redonne \(a\sum x_i + nb = \sum y_i\), soit \(b = \bar y – a\bar x\) ; la première ligne conduit, après simplification, à \(a = \mathrm{Cov}(x,y)/V(x)\). Les deux approches coïncident, comme attendu.
C. Deux conséquences immédiates de l’orthogonalité
L’égalité \(X^{\top}(Y – X\hat\beta) = 0\) cache deux propriétés très utiles. La première ligne matricielle donne \(\sum x_i e_i = 0\) : les résidus sont non corrélés à \(x\). La seconde ligne (colonne des \(1\)) donne \(\sum e_i = 0\) : la somme des résidus est nulle. Ces deux relations sont des tests de cohérence : si tu obtiens une droite dont les résidus ne somment pas à zéro, c’est que ton calcul est faux.
La régression multiple (\(y = a_1 x^{(1)} + \dots + a_p x^{(p)} + b\)) se traite exactement de la même façon : seule change la largeur de \(X\). La formule \(\hat\beta = (X^{\top}X)^{-1}X^{\top}Y\) reste valable tant que \(X\) est de rang plein. C’est toute la puissance de la lecture géométrique.
IV. Mesurer la qualité de l’ajustement : r et R²
Une droite peut toujours être calculée, même sur un nuage totalement informe. Encore faut-il savoir si elle a un sens. Deux indicateurs répondent à cette question.
A. Le coefficient de corrélation linéaire
Définition — Coefficient de corrélation
On appelle coefficient de corrélation linéaire de la série double le réel :
\(r = \displaystyle\frac{\mathrm{Cov}(x,y)}{\sigma_x\,\sigma_y}\)
où \(\sigma_x = \sqrt{V(x)}\) et \(\sigma_y = \sqrt{V(y)}\) sont les écarts-types. On a toujours \(-1 \leq r \leq 1\).
L’encadrement \(|r| \leq 1\) n’est autre que l’inégalité de Cauchy-Schwarz appliquée aux vecteurs centrés \((x_i – \bar x)_i\) et \((y_i – \bar y)_i\) : \(|\mathrm{Cov}(x,y)| \leq \sigma_x \sigma_y\), avec égalité si et seulement si les deux vecteurs sont colinéaires, c’est-à-dire si les points sont parfaitement alignés. On relie \(r\) à la pente par \(a = r\,\displaystyle\frac{\sigma_y}{\sigma_x}\) : le signe de \(r\) et celui de la pente coïncident toujours.
B. Décomposition de la variance et coefficient R²
L’orthogonalité de la section III se paie en un théorème de Pythagore statistique. Comme \(Y – \hat Y \perp \hat Y – \bar y\,\mathbf{1}\) (les deux vecteurs vivent respectivement dans l’orthogonal et dans \(\mathrm{Im}(X)\)), on obtient :
\(\underbrace{\sum_{i=1}^n (y_i – \bar y)^2}_{\text{variation totale}} = \underbrace{\sum_{i=1}^n (\hat y_i – \bar y)^2}_{\text{variation expliquée}} + \underbrace{\sum_{i=1}^n (y_i – \hat y_i)^2}_{\text{variation résiduelle}}\)Définition — Coefficient de détermination
On appelle coefficient de détermination la part de variation expliquée par le modèle :
\(R^2 = \displaystyle\frac{\text{variation expliquée}}{\text{variation totale}} = 1 – \displaystyle\frac{\sum (y_i – \hat y_i)^2}{\sum (y_i – \bar y)^2}\)
En régression simple, \(R^2 = r^2\). Ainsi \(R^2 = 0{,}9\) signifie que la droite « explique » 90 % de la dispersion de \(y\).
Erreur classique : confondre corrélation forte et causalité, ou juger la qualité d’un ajustement au seul coup d’œil sur la pente. Un \(R^2\) proche de \(1\) mesure l’alignement, pas la véracité d’un lien de cause à effet. C’est le sujet développé dans le cours dédié au coefficient de corrélation.
Munis de ces indicateurs, passons à l’exécution pratique : comment mener un calcul de régression sans faute sur une copie.
V. Méthode pas à pas pour une régression simple
Sur une copie, la régression se mène toujours dans le même ordre. Voici la procédure fiable, en cinq étapes.
- Calculer les moyennes \(\bar{x}\) et \(\bar{y}\). Elles donnent immédiatement le point moyen \(G\).
- Calculer variance et covariance via König-Huygens : \(V(x) = \displaystyle\frac{1}{n}\sum x_i^2 – \bar{x}^2\) et \(\mathrm{Cov}(x,y) = \displaystyle\frac{1}{n}\sum x_i y_i – \bar{x}\bar{y}\). Ces formes développées évitent de recentrer chaque donnée.
- En déduire la pente \(a = \mathrm{Cov}(x,y)/V(x)\), puis l’ordonnée à l’origine \(b = \bar{y} – a\bar{x}\).
- Contrôler : vérifier que \(G\) appartient bien à la droite et, si possible, que \(\sum e_i = 0\).
- Évaluer la qualité : calculer \(r\) puis \(R^2 = r^2\) et conclure par une phrase interprétant le résultat dans le contexte.
Réflexe de vérification. Le signe de la covariance, celui de la pente \(a\) et celui de \(r\) sont toujours identiques. Si ton \(a\) et ton \(r\) sortent de signes opposés, tu as une erreur de calcul quelque part.
VI. Exercices corrigés
Quatre exercices de difficulté croissante, du calcul direct à la démonstration structurée. Cherche chaque énoncé avant d’ouvrir la correction.
Exercice 1 — Droite de régression sur petites données (★)
On observe la série double suivante :
| \(x_i\) | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| \(y_i\) | 2 | 3 | 5 | 4 | 6 |
Déterminer l’équation de la droite de régression de \(y\) en \(x\).
Correction. Ici \(n = 5\). On calcule \(\bar{x} = 3\) et \(\bar{y} = 4\).
\(\sum x_i^2 = 1+4+9+16+25 = 55\) donc \(V(x) = \displaystyle\frac{55}{5} – 9 = 2\).
\(\sum x_i y_i = 2 + 6 + 15 + 16 + 30 = 69\) donc \(\mathrm{Cov}(x,y) = \displaystyle\frac{69}{5} – 3\times 4 = 13{,}8 – 12 = 1{,}8\).
D’où \(a = \displaystyle\frac{1{,}8}{2} = 0{,}9\) et \(b = 4 – 0{,}9\times 3 = 1{,}3\). La droite a pour équation \(y = 0{,}9\,x + 1{,}3\). Contrôle : au point \(x = 3\), \(y = 0{,}9\times 3 + 1{,}3 = 4 = \bar y\) ✓.
Exercice 2 — Corrélation et coefficient R² (★★)
Reprendre les données de l’exercice 1. Calculer le coefficient de corrélation \(r\) puis \(R^2\), et interpréter.
Correction. On a besoin de \(V(y)\). \(\sum y_i^2 = 4+9+25+16+36 = 90\) donc \(V(y) = \displaystyle\frac{90}{5} – 16 = 2\). Ainsi \(\sigma_x = \sigma_y = \sqrt{2}\).
\(r = \displaystyle\frac{\mathrm{Cov}(x,y)}{\sigma_x\sigma_y} = \displaystyle\frac{1{,}8}{\sqrt{2}\times\sqrt{2}} = \displaystyle\frac{1{,}8}{2} = 0{,}9\).
D’où \(R^2 = r^2 = 0{,}81\). Interprétation : la relation linéaire est forte et positive ; environ 81 % de la variation de \(y\) est expliquée par le modèle affine en \(x\). L’ajustement est de bonne qualité.
Exercice 3 — Les deux droites se croisent en G (★★)
Montrer que la droite de régression de \(y\) en \(x\) et celle de \(x\) en \(y\) se coupent au point moyen \(G(\bar x, \bar y)\). Que peut-on dire du produit de leurs pentes ?
Correction. La droite de \(y\) en \(x\) passe par \(G\) (propriété II.B). Par symétrie des rôles, la droite de \(x\) en \(y\), d’équation \(x = a’y + b’\) avec \(a’ = \mathrm{Cov}(x,y)/V(y)\) et \(b’ = \bar x – a’\bar y\), passe elle aussi par \(G\) (au point \(y = \bar y\), on a \(x = a’\bar y + b’ = \bar x\)). Les deux droites contiennent \(G\), donc s’y coupent.
Dans le repère \((x, y)\), la première a pour pente \(a = \mathrm{Cov}/V(x)\), la seconde pour pente \(1/a’= V(y)/\mathrm{Cov}\). Le produit vaut :
\(a \times \displaystyle\frac{V(y)}{\mathrm{Cov}(x,y)} = \displaystyle\frac{\mathrm{Cov}(x,y)}{V(x)}\times\displaystyle\frac{V(y)}{\mathrm{Cov}(x,y)}\)
ce qui n’est pas égal à \(a a’\) directement ; le résultat propre s’obtient sur les pentes des deux droites de régression prises dans leur repère naturel : \(a\,a’ = \displaystyle\frac{\mathrm{Cov}(x,y)^2}{V(x)V(y)} = r^2\). On retrouve donc \(a a’ = r^2 \leq 1\) : les droites coïncident si et seulement si \(r^2 = 1\), c’est-à-dire en corrélation parfaite.
Exercice 4 — Nullité de la somme des résidus (★★★)
Sans passer par le calcul explicite de \(a\) et \(b\), démontrer que pour la droite de régression des moindres carrés, la somme des résidus \(\sum_{i=1}^n e_i\) est nulle. On raisonnera sur la condition d’optimalité.
Correction. Au minimum de \(S(a,b) = \sum (y_i – a x_i – b)^2\), la dérivée partielle par rapport à \(b\) s’annule :
\(\displaystyle\frac{\partial S}{\partial b} = -2\sum_{i=1}^n (y_i – a x_i – b) = -2\sum_{i=1}^n e_i = 0\)
d’où \(\sum e_i = 0\). Interprétation géométrique : cette relation traduit l’orthogonalité du vecteur résidu au vecteur constant \(\mathbf{1}\), qui est l’une des directions de \(\mathrm{Im}(X)\). C’est exactement la seconde équation normale. On voit ainsi que la condition « annuler \(\partial S/\partial b\) » et la condition « résidu \(\perp \mathbf{1}\) » sont deux formulations d’un même fait. ∎
VII. Erreurs fréquentes et pièges classiques
❌ Copie fautive : « La pente est \(a = \mathrm{Cov}(x,y)/V(y)\). »
Diagnostic : confusion entre les deux droites de régression. Pour \(y\) en \(x\), on divise par la variance de la variable explicative \(x\).
✅ Correction : \(a = \mathrm{Cov}(x,y)/V(x)\). Le dénominateur est toujours la variance de la variable placée en abscisse.
Trois autres pièges reviennent en évaluation :
- Oublier de vérifier \(V(x) \neq 0\). Si toutes les abscisses sont égales, \(X\) n’est pas de rang \(2\) et la droite n’existe pas : géométriquement, le nuage est vertical.
- Confondre \(r\) et \(a\). La pente \(a\) dépend des unités, \(r\) est sans dimension. Un grand \(a\) ne signifie pas une forte corrélation.
- Extrapoler hors du domaine des données. La droite décrit le nuage observé ; prédire \(y\) pour un \(x\) très éloigné des valeurs mesurées n’a aucune garantie de validité.
VIII. Questions fréquentes
Quelle est la formule de la droite de régression linéaire ?
La droite de régression de \(y\) en \(x\) a pour équation \(y = ax + b\) avec \(a = \mathrm{Cov}(x,y)/V(x)\) et \(b = \bar{y} – a\bar{x}\). Elle minimise la somme des carrés des écarts verticaux entre les points observés et la droite, et passe par le point moyen \(G(\bar x, \bar y)\).
Pourquoi minimise-t-on la somme des carrés plutôt que la somme des valeurs absolues ?
Pour deux raisons. D’abord, la fonction carré est dérivable partout, ce qui permet d’annuler un gradient et d’obtenir des formules explicites. Ensuite, le critère quadratique se lit comme une distance euclidienne : la solution est alors une projection orthogonale, unique et facile à généraliser. La valeur absolue, non dérivable en zéro, peut donner une infinité de solutions.
Quelle est la différence entre régression linéaire et coefficient de corrélation ?
La régression produit une droite, donc un modèle prédictif \(y = ax + b\). Le coefficient de corrélation \(r\) est un nombre sans unité dans \(\left[-1\,;1\right]\) qui mesure la force et le sens de la liaison linéaire. On a le lien \(a = r\,\sigma_y/\sigma_x\) : ils partagent le même signe, mais la pente dépend des unités alors que \(r\) n’en dépend pas. Voir le cours dédié au coefficient de corrélation.
Pourquoi existe-t-il deux droites de régression ?
Parce que le critère des moindres carrés n’est pas symétrique. Régresser \(y\) sur \(x\) minimise les écarts verticaux ; régresser \(x\) sur \(y\) minimise les écarts horizontaux. On obtient deux droites distinctes, qui se coupent en \(G\) et dont le produit des pentes vaut \(r^2\). Elles ne coïncident qu’en cas de corrélation parfaite.
Comment interpréter le coefficient R² d'une régression ?
Le coefficient de détermination \(R^2\) mesure la part de la variation de \(y\) expliquée par le modèle. En régression simple, \(R^2 = r^2\). Un \(R^2 = 0{,}85\) signifie que 85 % de la dispersion de \(y\) est captée par la droite. Attention : un \(R^2\) élevé indique un bon alignement, pas une relation de cause à effet.
La méthode des moindres carrés est-elle vraiment une projection orthogonale ?
Oui, et c’est le résultat le plus profond du chapitre. En écrivant le critère sous la forme \(\|Y – X\beta\|^2\) dans \(\mathbb{R}^n\), minimiser revient à chercher le point de \(\mathrm{Im}(X)\) le plus proche de \(Y\) : c’est la projection orthogonale de \(Y\) sur ce sous-espace. Les équations normales \(X^{\top}X\hat\beta = X^{\top}Y\) traduisent que le résidu est orthogonal aux colonnes de \(X\).
IX. Pour aller plus loin
Tu maîtrises désormais la construction, la démonstration et la lecture géométrique de la régression linéaire. Pour consolider les notions de dispersion et de moments qui la sous-tendent, poursuis avec :
- Écart-type (1ère) : Cours, Propriétés et Exercices
- Variance (1ère) : Cours, Propriétés et Exercices
- Espérance (1ère) : Cours, Propriétés et Exercices
- Variable Aléatoire : Cours Complet du Lycée à la Prépa
Pour situer cette page dans l’ensemble du chapitre, reviens au cours complet de statistiques descriptives, ou approfondis la représentation préalable du nuage avec les statistiques à deux variables.
