La qualité de l'ajustement
3.1 La décomposition de la variance
$$\underbrace{\sum (Y_i - \bar{Y})^2}_{SCT} = \underbrace{\sum (\hat{Y}_i - \bar{Y})^2}_{SCE} + \underbrace{\sum e_i^2}_{SCR}$$
| Somme | Signification |
|---|---|
| SCT (totale) | Variabilité totale de $Y$ |
| SCE (expliquée) | Part expliquée par le modèle |
| SCR (résiduelle) | Part non expliquée |
3.2 Le coefficient de détermination
$$R^2 = \frac{SCE}{SCT} = 1 - \frac{SCR}{SCT} \qquad \text{avec} \qquad 0 \leq R^2 \leq 1$$
$R^2$ mesure la part de la variance de $Y$ expliquée par le ou les régresseurs. En régression simple, $R^2 = r^2$ (carré du coefficient de corrélation).
3.3 Le R² ajusté
Le $R^2$ augmente mécaniquement avec le nombre de variables explicatives. Pour comparer des modèles de dimensions différentes, on utilise :
$$\bar{R}^2 = 1 - \frac{SCR/(n-k)}{SCT/(n-1)} = 1 - (1 - R^2)\frac{n-1}{n-k}$$
où $k$ est le nombre de paramètres estimés (constante comprise). Le $\bar{R}^2$ peut être négatif et ne progresse que si la variable ajoutée apporte réellement de l'information.
Exercice 1
Question — Un modèle à 3 variables explicatives (plus la constante) estimé sur 25 observations donne $SCT = 500$ et $SCR = 120$. Calculez $R^2$ et $\bar{R}^2$, puis commentez.
Voir le corrigé
$$R^2 = 1 - \frac{120}{500} = 1 - 0{,}24 = 0{,}76$$
Avec $n = 25$ et $k = 4$ :
$$\bar{R}^2 = 1 - (1 - 0{,}76)\frac{25 - 1}{25 - 4} = 1 - 0{,}24 \times \frac{24}{21} = 1 - 0{,}2743 = 0{,}726$$
Commentaire : le modèle explique 76 % de la variabilité de $Y$, soit 72,6 % après correction pour le nombre de régresseurs. L'écart modéré entre $R^2$ et $\bar{R}^2$ suggère que les variables retenues sont globalement pertinentes ; un écart important aurait signalé un modèle surchargé de variables peu utiles.
Exercice 2 — R² et R² ajusté de la régression précédente
On reprend les 5 observations de l'exercice 2 du chapitre précédent ($\hat{\beta}_1 = 1{,}45$ ; $\sum (X_i - \bar{X})^2 = 40$ ; $\sum e_i^2 = 1{,}9$ ; $Y$ : 5, 9, 10, 14, 17).
- Calculez SCT, SCE et vérifiez la décomposition.
- Calculez $R^2$ et $\bar{R}^2$.
Voir le corrigé
1) $SCT = \sum (Y_i - 11)^2 = 36 + 4 + 1 + 9 + 36 = 86$ ; $SCE = 1{,}45^2 \times 40 = 84{,}1$ ; $SCE + SCR = 84{,}1 + 1{,}9 = 86$ ✓.
2) $R^2 = 84{,}1 / 86 \approx 0{,}978$ ; $\bar{R}^2 = 1 - (1 - 0{,}978) \times \dfrac{4}{3} \approx 0{,}971$. Le modèle explique près de 98 % de la variance de $Y$.
L'essentiel — Qualité de l'ajustement
- Décomposition : $SCT = SCE + SCR$ (totale = expliquée + résiduelle).
- $R^2 = \dfrac{SCE}{SCT} = 1 - \dfrac{SCR}{SCT}$, entre 0 et 1 : part de la variance de $Y$ expliquée.
- En régression simple, $R^2 = r^2$ et $SCE = \hat{\beta}_1^2 \sum (X_i - \bar{X})^2$.
- Le $R^2$ augmente mécaniquement avec le nombre de variables.
- R² ajusté : $\bar{R}^2 = 1 - (1 - R^2)\dfrac{n - 1}{n - k}$ ($k$ paramètres, constante comprise) ; il peut être négatif et sert à comparer des modèles de tailles différentes.