Le modèle de régression multiple

Objectifs du chapitre — À la fin de ce chapitre, vous saurez :

• écrire le modèle linéaire multiple sous forme matricielle ;
• connaître l'estimateur des MCO $\hat{\beta} = (X'X)^{-1}X'y$ et ses propriétés ;
• estimer à la main un modèle à deux variables explicatives (formules en écarts à la moyenne) ;
• interpréter les coefficients « toutes choses égales par ailleurs » ;
• mener les tests de Student et de Fisher, y compris le test de restrictions ;
• utiliser des variables indicatrices.

5.1 Le modèle et son écriture matricielle

Une variable économique dépend rarement d'un seul facteur : les ventes dépendent du prix, de la publicité, du revenu des clients, de la saison. Le modèle linéaire multiple s'écrit :

$$y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \dots + \beta_p x_{pi} + \varepsilon_i \qquad i = 1, \dots, n$$

soit $k = p + 1$ paramètres. Sous forme matricielle :

$$\boxed{y = X\beta + \varepsilon}$$

où $y$ est le vecteur $(n \times 1)$ des observations, $X$ la matrice $(n \times k)$ des variables explicatives (une première colonne de 1 pour la constante), $\beta$ le vecteur $(k \times 1)$ des paramètres et $\varepsilon$ le vecteur des erreurs.

Aux hypothèses du chapitre 2 s'ajoute l'absence de colinéarité parfaite : aucune variable explicative n'est une combinaison linéaire exacte des autres (la matrice $X'X$ doit être inversible).

5.2 L'estimateur des moindres carrés

Minimiser $e'e = \sum e_i^2$ conduit aux équations normales $X'X\hat{\beta} = X'y$, d'où :

$$\boxed{\hat{\beta} = (X'X)^{-1} X'y} \qquad V(\hat{\beta}) = \sigma^2 (X'X)^{-1} \qquad \hat{\sigma}^2 = \frac{SCR}{n - k}$$

Les propriétés de la régression simple se généralisent : estimateurs sans biais, BLUE (Gauss-Markov), résidus de somme nulle et orthogonaux à chaque variable explicative. Les écarts-types des coefficients sont les racines des éléments diagonaux de $\hat{\sigma}^2 (X'X)^{-1}$.

Cas de deux variables explicatives : en notant $S_{11}$, $S_{22}$, $S_{12}$, $S_{1y}$, $S_{2y}$ les sommes de produits en écarts à la moyenne et $D = S_{11} S_{22} - S_{12}^2$ :

$$\hat{\beta}_1 = \frac{S_{1y} S_{22} - S_{2y} S_{12}}{D} \qquad \hat{\beta}_2 = \frac{S_{2y} S_{11} - S_{1y} S_{12}}{D} \qquad \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}_1 - \hat{\beta}_2 \bar{x}_2$$

$$V(\hat{\beta}_1) = \frac{\sigma^2 S_{22}}{D} \qquad V(\hat{\beta}_2) = \frac{\sigma^2 S_{11}}{D} \qquad SCE = \hat{\beta}_1 S_{1y} + \hat{\beta}_2 S_{2y}$$

5.3 L'interprétation « toutes choses égales par ailleurs »

Dans le modèle multiple, $\beta_j$ mesure l'effet d'une variation d'une unité de $x_j$ sur $y$, les autres variables explicatives étant maintenues constantes. C'est ce qui fait l'intérêt de la régression multiple : elle permet d'isoler l'effet propre de chaque facteur, alors qu'une régression simple mélange l'effet de $x_j$ et celui des variables omises qui lui sont corrélées (chapitre 6).

5.4 Qualité de l'ajustement et tests

• $R^2 = SCE / SCT$ et $\bar{R}^2 = 1 - (1 - R^2)(n - 1)/(n - k)$ (chapitre 3).
• Test de Student sur chaque coefficient : $t = \hat{\beta}_j / \hat{\sigma}_{\hat{\beta}_j} \sim \mathcal{T}(n - k)$.
• Test de Fisher global : $H_0 : \beta_1 = \beta_2 = \dots = \beta_p = 0$ ; $F = \dfrac{SCE / (k - 1)}{SCR / (n - k)} \sim \mathcal{F}(k - 1 ;\, n - k)$.
• Test de restrictions linéaires (par exemple : deux coefficients sont nuls, ou égaux, ou leur somme vaut 1). On estime le modèle non contraint ($SCR_{nc}$) et le modèle contraint ($SCR_c$), avec $q$ restrictions :

$$\boxed{F = \frac{(SCR_c - SCR_{nc}) / q}{SCR_{nc} / (n - k)} \sim \mathcal{F}(q ;\, n - k)}$$

Si les restrictions sont vraies, imposer la contrainte ne dégrade presque pas l'ajustement et $F$ est faible.

5.5 Les variables indicatrices

Une variable indicatrice (ou muette, dummy) vaut 1 si une caractéristique est présente et 0 sinon (salarié femme, entreprise exportatrice, mois de Ramadan, région). Dans $\text{salaire} = \beta_0 + \beta_1 \text{expérience} + \delta\,F + \varepsilon$, avec $F = 1$ pour une femme, $\delta$ mesure l'écart moyen de salaire entre femmes et hommes à expérience égale.

Pour une variable qualitative à $m$ modalités (par exemple quatre trimestres), on introduit $m - 1$ indicatrices ; la modalité omise sert de référence. Introduire les $m$ indicatrices avec une constante crée une colinéarité parfaite : c'est le piège des variables indicatrices.

5.6 Méthode : estimer et interpréter un modèle multiple

1. Calculer les moyennes et les sommes en écarts ($S_{11}$, $S_{22}$, $S_{12}$, $S_{1y}$, $S_{2y}$, $S_{yy}$).
2. Calculer $D$, puis $\hat{\beta}_1$, $\hat{\beta}_2$ et $\hat{\beta}_0$.
3. Calculer $SCE$, $SCR = S_{yy} - SCE$, $R^2$, $\bar{R}^2$ et $\hat{\sigma}^2 = SCR/(n - k)$.
4. Calculer les écarts-types, les $t$ et le $F$ ; conclure avec les valeurs critiques à $n - k$ degrés de liberté.
5. Interpréter chaque coefficient « toutes choses égales par ailleurs » et vérifier les signes attendus.

Les pièges à éviter

• Oublier la colonne de 1 dans $X$ (la constante).
• Interpréter un coefficient sans préciser « les autres variables étant constantes ».
• Utiliser $n - 2$ degrés de liberté au lieu de $n - k$.
• Introduire toutes les modalités d'une variable qualitative avec une constante.
• Confondre le test de Fisher global et le test de Student de chaque coefficient : le modèle peut être globalement significatif avec certains coefficients non significatifs.