La statistique bivariée : corrélation et régression

Objectifs du chapitre — À la fin de ce chapitre, vous saurez :

• lire un tableau de contingence, ses distributions marginales et conditionnelles ;
• calculer une covariance et un coefficient de corrélation linéaire ;
• déterminer la droite de régression par la méthode des moindres carrés ;
• calculer et interpréter le coefficient de détermination $R^2$ ;
• faire une prévision et en connaître les limites.

5.1 Les séries statistiques à deux variables

On étudie simultanément deux caractères $X$ et $Y$ sur les mêmes individus : dépenses de publicité et ventes, revenu et consommation, surface et prix d'un logement. Les données se présentent :

• soit sous forme de couples $(x_i, y_i)$, représentés par un nuage de points ;
• soit, pour de grands effectifs ou des caractères qualitatifs, sous forme d'un tableau de contingence (tableau à double entrée) d'effectifs $n_{ij}$.

Exemple de tableau de contingence : 200 clients d'une enseigne selon le sexe et le canal d'achat.

	En ligne	En magasin	Total
Hommes	48	72	120
Femmes	32	48	80
Total	80	120	200

• Les distributions marginales sont les totaux de lignes et de colonnes (120 hommes, 80 achats en ligne…).
• Les distributions conditionnelles décrivent une variable pour une modalité fixée de l'autre : 40 % des hommes achètent en ligne ($48/120$), et 40 % des femmes aussi ($32/80$).

Les deux distributions conditionnelles étant identiques, les deux caractères sont indépendants : chaque case vérifie $n_{ij} = n_{i \cdot} \times n_{\cdot j} / N$ (par exemple $120 \times 80 / 200 = 48$). Le test du khi-deux, présenté dans le chapitre sur les tests d'hypothèses du cours Échantillonnage et estimation, mesure si l'écart à cette situation est trop grand pour être dû au hasard.

5.2 La covariance

La covariance mesure le sens de la variation conjointe de deux variables :

$$\boxed{cov(x, y) = \frac{1}{n} \sum (x_i - \bar{x})(y_i - \bar{y}) = \frac{1}{n} \sum x_i\,y_i - \bar{x}\,\bar{y}}$$

• $cov > 0$ : les deux variables ont tendance à varier dans le même sens ;
• $cov < 0$ : elles varient en sens contraire ;
• $cov \approx 0$ : pas de liaison linéaire.

Sa valeur dépend des unités choisies : elle ne permet pas de juger l'intensité de la liaison.

5.3 Le coefficient de corrélation linéaire

$$\boxed{r = \frac{cov(x, y)}{\sigma_x\,\sigma_y}} \qquad -1 \le r \le 1$$

Valeur de $r$	Interprétation
$r = 1$ ou $r = -1$	Liaison linéaire parfaite (points alignés)
$\vert r \vert \ge 0{,}8$	Liaison linéaire forte
$0{,}5 \le \vert r \vert < 0{,}8$	Liaison moyenne
$\vert r \vert < 0{,}5$	Liaison faible
$r = 0$	Absence de liaison linéaire (une liaison non linéaire reste possible)

Corrélation n'est pas causalité : les ventes de glaces et le nombre de noyades sont corrélés, parce que tous deux dépendent de la température. Une corrélation peut aussi être fortuite sur un petit échantillon.

5.4 La droite de régression des moindres carrés

On cherche la droite $\hat{y} = a\,x + b$ qui passe « au plus près » des points, c'est-à-dire qui minimise la somme des carrés des résidus $e_i = y_i - \hat{y}_i$ :

$$\min_{a,b} \sum (y_i - a\,x_i - b)^2 \;\Rightarrow\; \boxed{a = \frac{cov(x, y)}{V(x)} \qquad b = \bar{y} - a\,\bar{x}}$$

• La droite passe par le point moyen $(\bar{x}, \bar{y})$ ;
• la somme des résidus est nulle ;
• la pente $a$ s'interprète comme la variation moyenne de $y$ quand $x$ augmente d'une unité.

La droite de régression de $x$ en $y$ ($x = a'\,y + b'$, avec $a' = cov / V(y)$) est différente, sauf si $|r| = 1$ ; on a la relation $a \times a' = r^2$.

5.5 Le coefficient de détermination

La variabilité totale de $y$ se décompose en une partie expliquée par la droite et une partie résiduelle :

$$\underbrace{\sum (y_i - \bar{y})^2}_{SCT} = \underbrace{\sum (\hat{y}_i - \bar{y})^2}_{SCE\ (\text{expliquée})} + \underbrace{\sum (y_i - \hat{y}_i)^2}_{SCR\ (\text{résiduelle})} \qquad \boxed{R^2 = \frac{SCE}{SCT} = r^2}$$

$R^2 = 0{,}85$ signifie que 85 % de la variance de $y$ est expliquée par la liaison linéaire avec $x$.

5.6 La prévision et ses limites

La droite permet d'estimer $y$ pour une valeur donnée de $x$ : $\hat{y}_0 = a\,x_0 + b$. La prévision est d'autant plus fiable que $R^2$ est élevé et que $x_0$ reste dans l'intervalle des données observées : au-delà (extrapolation), rien ne garantit que la relation reste linéaire.

Ajustements non linéaires : si le nuage a une forme exponentielle ($y = B\,A^x$, croissance à taux constant), on ajuste une droite sur $\ln y$ : $\ln y = x \ln A + \ln B$. De même, un ajustement puissance ($y = B\,x^a$) se linéarise avec $\ln y$ et $\ln x$.

5.7 Méthode : régression linéaire à la main

1. Construire le tableau des $x_i$, $y_i$, $x_i^2$, $y_i^2$ et $x_i\,y_i$ et leurs sommes.
2. Calculer $\bar{x}$, $\bar{y}$, $V(x)$, $V(y)$ et $cov(x, y)$ par les formules de Koenig.
3. Calculer $r$ et l'interpréter (sens et intensité).
4. Calculer $a$, puis $b = \bar{y} - a\,\bar{x}$.
5. Calculer $R^2$ et faire la prévision demandée, en signalant une éventuelle extrapolation.

Les pièges à éviter

• Diviser la covariance par $V(y)$ au lieu de $V(x)$ pour la pente de $y$ en $x$.
• Conclure à une causalité à partir d'une forte corrélation.
• Conclure à l'absence de liaison quand $r \approx 0$ : la liaison peut être non linéaire.
• Oublier de vérifier que la droite passe par le point moyen.
• Extrapoler loin en dehors des données observées.