L'estimation ponctuelle

Objectifs du chapitre — À la fin de ce chapitre, vous saurez :

• distinguer un estimateur d'une estimation ;
• vérifier si un estimateur est sans biais et convergent ;
• comparer deux estimateurs avec l'erreur quadratique moyenne ;
• estimer une moyenne, une proportion et une variance ;
• appliquer la méthode des moments et celle du maximum de vraisemblance ;
• expliquer pourquoi on divise par $n - 1$ dans la variance corrigée.

4.1 Estimateur et estimation

On change maintenant de sens : la population est inconnue et l'échantillon est observé. Estimer, c'est donner une valeur plausible à un paramètre inconnu $\theta$, par exemple le revenu moyen d'une ville ou le taux de défaut d'un portefeuille de crédits.

Définition — Estimateur : variable aléatoire $T_n$, fonction de l'échantillon $X_1, \dots, X_n$, utilisée pour approcher $\theta$. L'estimation est le nombre obtenu en remplaçant les $X_i$ par les valeurs observées.

L'estimateur est une méthode, comme une recette, tandis que l'estimation est le résultat d'une application de cette recette. On peut donc juger la qualité d'une méthode en étudiant sa loi, même si l'on ne sait jamais à quelle distance de la vérité se trouve une estimation précise.

4.2 Le biais

Définition — Biais : $B(T) = E(T) - \theta$. L'estimateur est sans biais si $E(T) = \theta$ : il ne se trompe pas systématiquement dans un sens.

Un bon tireur peut manquer la cible, mais ses tirs doivent être groupés autour du centre. Le biais mesure le décalage de ce centre.

La moyenne $\bar{X}$ est sans biais pour $\mu$, car $E(\bar{X}) = \mu$. La fréquence $F$ l'est pour $p$. Mais la seule première observation $X_1$ est, elle aussi, sans biais pour $\mu$ : l'absence de biais ne suffit donc pas pour choisir.

Le cas de la variance. La variance empirique $V = \frac{1}{n} \sum (X_i - \bar{X})^2$ est biaisée :

$$E(V) = \frac{n - 1}{n}\,\sigma^2$$

En effet, $\bar{X}$ est calculée sur le même échantillon, donc les données sont plus proches de $\bar{X}$ que de $\mu$. Les écarts sont trop petits en moyenne. Pour corriger, on multiplie par $n / (n - 1)$ :

$$\boxed{S^2 = \frac{n}{n - 1}\,V = \frac{1}{n - 1} \sum_{i=1}^n (X_i - \bar{X})^2 \qquad E(S^2) = \sigma^2}$$

Exemple : les ventes de six jours sont 12, 15, 9, 14, 10 et 12 unités. La moyenne vaut $\bar{x} = 12$. La somme des carrés des écarts vaut $0 + 9 + 9 + 4 + 4 + 0 = 26$. La variance empirique vaut $26 / 6 \approx 4{,}33$, et l'estimation sans biais de $\sigma^2$ est $s^2 = 26 / 5 = 5{,}2$.

4.3 La convergence et l'efficacité

Définition — Convergence : $T_n$ est convergent si la probabilité qu'il s'écarte de $\theta$ tend vers 0 quand $n$ augmente. Il suffit que son biais et sa variance tendent vers 0.

$\bar{X}$ est convergent : $E(\bar{X}) = \mu$ et $V(\bar{X}) = \sigma^2 / n$ tend vers 0. La variance empirique $V$ est biaisée, mais son biais $-\sigma^2 / n$ disparaît quand $n$ grandit : elle est asymptotiquement sans biais. Avec de grands échantillons, diviser par $n$ ou par $n - 1$ change très peu de chose.

Entre deux estimateurs sans biais, on préfère le plus efficace, c'est-à-dire celui de plus petite variance. Pour comparer des estimateurs dont certains sont biaisés, on utilise l'erreur quadratique moyenne :

$$\boxed{EQM(T) = E\left[(T - \theta)^2\right] = V(T) + B(T)^2}$$

Elle additionne les deux défauts possibles : la dispersion et le décalage. Un léger biais peut ainsi être préférable à une forte variance.

4.4 Les estimateurs usuels

Paramètre	Estimateur	Propriétés
Moyenne $\mu$	$\bar{x}$	Sans biais, convergent
Proportion $p$	$f$	Sans biais, convergent
Variance $\sigma^2$	$s^2 = \dfrac{1}{n - 1} \sum (x_i - \bar{x})^2$	Sans biais, convergent
Écart-type $\sigma$	$s$	Légèrement biaisé, mais d'usage général

Dans un sondage stratifié, $\bar{x}_{st}$ est sans biais pour $\mu$, ce qui n'est pas le cas de la simple moyenne de tous les enquêtés lorsque les strates ne respectent pas leur poids réel.

4.5 La méthode des moments

Comment trouver un estimateur quand la loi dépend d'un paramètre moins évident ? La méthode des moments consiste à égaler les moments théoriques aux moments observés, puis à résoudre.

Exemple : les temps d'attente suivent une loi exponentielle de paramètre $\lambda$, avec $E(X) = 1 / \lambda$. On pose $1 / \lambda = \bar{x}$, d'où $\hat{\lambda} = 1 / \bar{x}$.

Exemple : $X$ suit une loi uniforme sur $[0 ; \theta]$, avec $E(X) = \theta / 2$. On pose $\theta / 2 = \bar{x}$, d'où $\hat{\theta} = 2\bar{x}$.

La méthode est rapide, mais elle ne donne pas toujours le meilleur estimateur.

4.6 La méthode du maximum de vraisemblance

Son principe est de retenir la valeur du paramètre qui rend les données observées les plus probables. La vraisemblance est la probabilité de l'échantillon, vue comme une fonction de $\theta$ :

$$L(\theta) = \prod_{i=1}^n P_\theta(X_i = x_i) \quad \text{(ou le produit des densités)}$$

On maximise plutôt $\ln L$, car un logarithme transforme le produit en somme. On cherche le $\theta$ qui annule la dérivée, puis on vérifie que la dérivée seconde est négative.

Exemple (Bernoulli) : sur $n$ clients, $k$ ont acheté. $L(p) = p^k (1 - p)^{n - k}$, donc $\ln L = k \ln p + (n - k) \ln(1 - p)$. La dérivée s'annule pour $k / p = (n - k)/(1 - p)$, soit $\hat{p} = k / n$. On retrouve la fréquence.

Exemple (Poisson) : $\ln L = -n\lambda + \left(\sum x_i\right) \ln \lambda - \sum \ln(x_i!)$. La dérivée vaut $-n + \sum x_i / \lambda$, nulle pour $\hat{\lambda} = \bar{x}$. La dérivée seconde $-\sum x_i / \lambda^2$ est négative : c'est bien un maximum.

Ces estimateurs ont de bonnes propriétés sur de grands échantillons. Ils sont aussi invariants : si $\hat{\theta}$ estime $\theta$, alors $g(\hat{\theta})$ estime $g(\theta)$. Le coefficient de la régression étudiée en économétrie s'obtient par une logique voisine.

4.7 Méthode : étudier un estimateur

1. Écrire $T$ en fonction des $X_i$ et utiliser la linéarité : $E(\sum a_i X_i) = \sum a_i E(X_i)$.
2. Calculer $E(T)$ et en déduire le biais.
3. Calculer $V(T)$ avec l'indépendance : $V(\sum a_i X_i) = \sum a_i^2 V(X_i)$.
4. Étudier la convergence quand $n$ tend vers l'infini.
5. Comparer avec un autre estimateur par la variance, ou par l'EQM s'il y a un biais.

Les pièges à éviter

• Confondre $\theta$, inconnu et fixe, avec $T$, aléatoire, et avec l'estimation, un simple nombre.
• Diviser par $n$ pour estimer $\sigma^2$ alors que l'énoncé demande une estimation sans biais.
• Conclure qu'un estimateur sans biais est forcément le meilleur : regardez aussi sa variance.
• Oublier de mettre les carrés des coefficients dans $V(\sum a_i X_i)$.
• Oublier de vérifier la condition de maximum dans la méthode de vraisemblance.