La qualité de l'ajustement

Objectifs du chapitre — À la fin de ce chapitre, vous saurez :

• décomposer la variabilité totale de $y$ en variabilité expliquée et résiduelle ;
• calculer et interpréter le coefficient de détermination $R^2$ ;
• utiliser le $R^2$ ajusté pour comparer des modèles ;
• construire le tableau d'analyse de la variance ;
• analyser graphiquement les résidus.

3.1 L'équation d'analyse de la variance

La variabilité totale de $y$ autour de sa moyenne se décompose en deux parties :

$$\boxed{\underbrace{\sum (y_i - \bar{y})^2}_{SCT} = \underbrace{\sum (\hat{y}_i - \bar{y})^2}_{SCE} + \underbrace{\sum e_i^2}_{SCR}}$$

• $SCT$ (somme des carrés totale) mesure la dispersion de $y$ ; c'est $S_{yy}$ ;
• $SCE$ (somme des carrés expliquée) mesure la part de cette dispersion reproduite par le modèle ;
• $SCR$ (somme des carrés résiduelle) mesure ce que le modèle n'explique pas.

Cette décomposition n'est valable que pour un modèle avec constante estimé par les MCO. En régression simple, $SCE = \hat{\beta}_1^2\,S_{xx} = \hat{\beta}_1\,S_{xy}$.

3.2 Le coefficient de détermination

$$\boxed{R^2 = \frac{SCE}{SCT} = 1 - \frac{SCR}{SCT}} \qquad 0 \le R^2 \le 1$$

Le $R^2$ mesure la proportion de la variance de $y$ expliquée par le modèle. $R^2 = 0{,}85$ signifie que 85 % des variations de $y$ autour de sa moyenne sont reproduites par la régression.

En régression simple, $R^2 = r^2$, où $r$ est le coefficient de corrélation linéaire entre $x$ et $y$ ; le signe de $r$ est celui de $\hat{\beta}_1$.

Ordre de grandeur : le $R^2$ est souvent élevé (plus de 0,9) pour des séries temporelles qui ont une tendance commune, et plus faible (0,2 à 0,5) pour des données en coupe sur des individus très hétérogènes. Un $R^2$ faible n'invalide pas un modèle si les coefficients sont significatifs et conformes à la théorie ; un $R^2$ très élevé ne garantit pas un bon modèle (régression fallacieuse, chapitre 8).

3.3 Le $R^2$ ajusté

Le $R^2$ augmente toujours quand on ajoute une variable explicative, même inutile, car la $SCR$ ne peut que diminuer. Pour comparer des modèles ayant un nombre différent de variables, on utilise le $R^2$ ajusté, qui tient compte des degrés de liberté ($k$ = nombre de paramètres estimés, constante comprise) :

$$\boxed{\bar{R}^2 = 1 - \frac{SCR / (n - k)}{SCT / (n - 1)} = 1 - (1 - R^2)\,\frac{n - 1}{n - k}}$$

Il peut diminuer lorsqu'on ajoute une variable peu utile, et même être négatif. On préfère, entre deux modèles expliquant la même variable, celui qui a le $\bar{R}^2$ le plus élevé (toutes choses égales par ailleurs).

3.4 Le tableau d'analyse de la variance

Les logiciels présentent la décomposition dans un tableau (ANOVA) :

Source	Somme des carrés	Degrés de liberté	Carré moyen
Expliquée (régression)	$SCE$	$k - 1$	$SCE / (k - 1)$
Résiduelle	$SCR$	$n - k$	$SCR / (n - k) = \hat{\sigma}^2$
Totale	$SCT$	$n - 1$

Le rapport des carrés moyens donne la statistique de Fisher, utilisée pour tester la significativité globale du modèle (chapitre 4) :

$$F = \frac{SCE / (k - 1)}{SCR / (n - k)} = \frac{R^2 / (k - 1)}{(1 - R^2) / (n - k)}$$

3.5 L'erreur type de la régression

L'erreur type de la régression $\hat{\sigma} = \sqrt{SCR / (n - k)}$ mesure l'écart typique entre les valeurs observées et les valeurs ajustées, dans l'unité de $y$. Rapportée à la moyenne de $y$, elle donne une idée de la précision relative du modèle.

3.6 L'analyse graphique des résidus

Les statistiques ne suffisent pas : il faut regarder les résidus.

• Résidus en fonction de $x$ ou de $\hat{y}$ : ils doivent être répartis au hasard autour de zéro, dans une bande de largeur constante. Une forme en entonnoir signale une hétéroscédasticité (chapitre 7) ; une forme courbe, une mauvaise forme fonctionnelle (chapitre 6).
• Résidus dans l'ordre du temps (séries temporelles) : de longues séquences de même signe signalent une autocorrélation (chapitre 7).
• Valeurs atypiques : un résidu très grand (plus de deux ou trois fois $\hat{\sigma}$) doit être examiné (erreur de saisie, événement exceptionnel). Une observation très éloignée des autres en $x$ peut aussi avoir une forte influence sur la droite.

3.7 Les critères d'information

Pour choisir entre plusieurs modèles expliquant la même variable, les logiciels fournissent aussi des critères d'information, qui pénalisent le nombre de paramètres plus fortement que le $\bar{R}^2$ :

$$AIC = \ln\left(\frac{SCR}{n}\right) + \frac{2k}{n} \qquad BIC = \ln\left(\frac{SCR}{n}\right) + \frac{k \ln n}{n}$$

On retient le modèle dont le critère est le plus faible. Le critère de Schwarz (BIC) pénalise davantage les modèles comportant beaucoup de variables et conduit à des modèles plus parcimonieux.

3.8 Méthode : évaluer la qualité d'un ajustement

1. Calculer $SCT = S_{yy}$, $SCE$ (par $\hat{\beta}_1 S_{xy}$ ou $SCT - SCR$) et $SCR$.
2. Calculer $R^2$ et l'interpréter en pourcentage de variance expliquée.
3. Calculer $\bar{R}^2$ si l'on compare des modèles.
4. Construire le tableau ANOVA et calculer $F$ et $\hat{\sigma}$.
5. Examiner les résidus (graphiques, valeurs atypiques) avant de conclure.

Les pièges à éviter

• Juger un modèle sur son seul $R^2$.
• Comparer les $R^2$ de modèles ayant des variables expliquées différentes ($y$ et $\ln y$) : ils ne sont pas comparables.
• Comparer des modèles de tailles différentes avec le $R^2$ simple au lieu du $\bar{R}^2$.
• Utiliser la décomposition $SCT = SCE + SCR$ pour un modèle sans constante.
• Oublier que $k$ compte la constante.