Le modèle de régression linéaire simple

Objectifs du chapitre — À la fin de ce chapitre, vous saurez :

• énoncer les hypothèses du modèle linéaire simple ;
• établir et appliquer les estimateurs des moindres carrés ordinaires (MCO) ;
• connaître les propriétés des estimateurs (théorème de Gauss-Markov) ;
• calculer les résidus et l'estimateur de la variance des erreurs ;
• calculer les écarts-types des coefficients estimés.

2.1 Le modèle et ses hypothèses

On étudie la relation entre une variable expliquée $y$ et une variable explicative $x$, observées sur $n$ individus :

$$y_i = \beta_0 + \beta_1\,x_i + \varepsilon_i \qquad i = 1, \dots, n$$

Les propriétés des estimateurs reposent sur des hypothèses :

Hypothèse	Contenu
H1 — Linéarité	Le modèle est linéaire dans les paramètres
H2 — Exogénéité	$x$ est non aléatoire (ou indépendant de $\varepsilon$) et $E(\varepsilon_i) = 0$ : les erreurs sont nulles en moyenne
H3 — Homoscédasticité	$V(\varepsilon_i) = \sigma^2$ pour tout $i$ : même dispersion des erreurs
H4 — Absence d'autocorrélation	$Cov(\varepsilon_i, \varepsilon_j) = 0$ pour $i \neq j$
H5 — Variabilité de $x$	Les $x_i$ ne sont pas tous égaux
H6 — Normalité (pour les tests)	$\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$

Les chapitres 6 et 7 étudient ce qui se passe lorsque certaines hypothèses ne sont pas respectées.

2.2 Le principe des moindres carrés ordinaires

On cherche la droite $\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x$ la plus proche du nuage de points. Pour chaque observation, le résidu est l'écart entre la valeur observée et la valeur ajustée : $e_i = y_i - \hat{y}_i$. La méthode des MCO choisit $\hat{\beta}_0$ et $\hat{\beta}_1$ qui minimisent la somme des carrés des résidus :

$$\min_{\beta_0, \beta_1} \sum_{i=1}^{n} (y_i - \beta_0 - \beta_1 x_i)^2$$

En annulant les dérivées partielles, on obtient les équations normales :

$$\sum e_i = 0 \qquad \sum x_i\,e_i = 0$$

dont la solution est :

$$\boxed{\hat{\beta}_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{S_{xy}}{S_{xx}} \qquad \hat{\beta}_0 = \bar{y} - \hat{\beta}_1\,\bar{x}}$$

Formules équivalentes : $S_{xx} = \sum x_i^2 - n\,\bar{x}^2$ et $S_{xy} = \sum x_i y_i - n\,\bar{x}\,\bar{y}$.

2.3 Les propriétés de l'ajustement

• La droite passe par le point moyen $(\bar{x}, \bar{y})$.
• La somme des résidus est nulle et la moyenne des $\hat{y}_i$ est égale à $\bar{y}$.
• Les résidus sont non corrélés avec $x$ ($\sum x_i e_i = 0$) et avec les valeurs ajustées.

2.4 Les propriétés des estimateurs

Sous les hypothèses H1 à H5 :

• les estimateurs MCO sont sans biais : $E(\hat{\beta}_0) = \beta_0$ et $E(\hat{\beta}_1) = \beta_1$ ;
• leurs variances sont :

$$V(\hat{\beta}_1) = \frac{\sigma^2}{S_{xx}} \qquad V(\hat{\beta}_0) = \sigma^2 \left(\frac{1}{n} + \frac{\bar{x}^2}{S_{xx}}\right)$$

• théorème de Gauss-Markov : parmi tous les estimateurs linéaires et sans biais, les estimateurs MCO sont ceux qui ont la plus petite variance (ils sont « BLUE » : best linear unbiased estimators) ;
• ils sont convergents : leur variance tend vers 0 quand $n$ augmente.

La précision de $\hat{\beta}_1$ est d'autant meilleure que les erreurs sont peu dispersées ($\sigma^2$ petit) et que les valeurs de $x$ sont étalées ($S_{xx}$ grand).

2.5 L'estimation de la variance des erreurs

La variance $\sigma^2$ des erreurs est inconnue. On l'estime sans biais à partir des résidus :

$$\boxed{\hat{\sigma}^2 = \frac{SCR}{n - 2} = \frac{\sum e_i^2}{n - 2}}$$

On divise par $n - 2$ (nombre de degrés de liberté) car deux paramètres ont été estimés. On en déduit les écarts-types estimés des coefficients :

$$\hat{\sigma}_{\hat{\beta}_1} = \sqrt{\frac{\hat{\sigma}^2}{S_{xx}}} \qquad \hat{\sigma}_{\hat{\beta}_0} = \sqrt{\hat{\sigma}^2 \left(\frac{1}{n} + \frac{\bar{x}^2}{S_{xx}}\right)}$$

Ils servent aux tests et aux intervalles de confiance (chapitre 4). Un raccourci utile : $SCR = S_{yy} - \hat{\beta}_1\,S_{xy}$.

2.6 La régression sans constante

Lorsque la théorie impose une droite passant par l'origine ($y = \beta x$, par exemple des coûts proportionnels à la quantité), on estime le modèle sans constante :

$$\hat{\beta} = \frac{\sum x_i y_i}{\sum x_i^2}$$

Ce choix doit rester exceptionnel : si la vraie relation comporte une constante, l'estimateur est biaisé. De plus, la somme des résidus n'est plus nulle et le $R^2$ habituel perd son interprétation (il n'est pas comparable à celui d'un modèle avec constante). En pratique, on garde la constante même si elle n'a pas d'interprétation économique, et l'on teste sa significativité.

2.7 Méthode : estimer un modèle simple à la main

1. Calculer $\bar{x}$ et $\bar{y}$.
2. Construire le tableau des écarts $x_i - \bar{x}$, $y_i - \bar{y}$, de leurs produits et de leurs carrés ; en déduire $S_{xx}$, $S_{xy}$, $S_{yy}$.
3. Calculer $\hat{\beta}_1 = S_{xy} / S_{xx}$, puis $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$.
4. Calculer les valeurs ajustées et les résidus ; vérifier que $\sum e_i = 0$.
5. Calculer $SCR$, $\hat{\sigma}^2 = SCR / (n - 2)$ et les écarts-types des coefficients.

Les pièges à éviter

• Diviser $S_{xy}$ par $S_{yy}$ au lieu de $S_{xx}$.
• Diviser $SCR$ par $n$ au lieu de $n - 2$.
• Confondre erreur $\varepsilon_i$ (inobservable) et résidu $e_i$ (calculé).
• Oublier de vérifier que la somme des résidus est nulle : c'est un contrôle simple des calculs.
• Interpréter la constante lorsque $x = 0$ est très éloigné des données observées.