Statistique inférentielle
Estimateur et biais
- Présentation du cours
- La troisième face
- Échantillonner
- La distribution d'échantillonnage de la moyenne
- Proportion et variance
- Les trois lois de l'inférence
- Estimateur et biais
- Les qualités d'un estimateur
- Construire un estimateur
- Le principe de l'intervalle de confiance
- L'intervalle pour une moyenne
- Proportion et variance : les intervalles
- Choisir la taille de l'échantillon
- La logique d'un test
- Les deux risques et la puissance
- La p-value
- Tester une moyenne, tester une proportion
- Comparer deux groupes
- L'analyse de la variance
- Les tests du khi-deux
- La régression devient un modèle
- Tester un coefficient
- Mise en œuvre sur R et Python
Statistique inférentielle
Chapitre 5 : Estimateur et biais
Estimer
Deux mots à distinguer
Estimateur et estimation
Un estimateur est une recette : une formule appliquée à un échantillon quelconque. C’est une variable aléatoire, notée \widehat{\theta}.
Une estimation est le nombre obtenu sur l’échantillon dont on dispose.
Sur nos données
L’estimateur : \;\overline{X} = \dfrac{1}{n}\sum_i X_i.
L’estimation : \;\overline{x} = 7\,005{,}80 dirhams.
La recette est la même pour tout le monde ; le nombre change avec l’échantillon.
Pourquoi la distinction compte
On juge la recette, jamais le nombre
7\,005{,}80 n’est ni bon ni mauvais : c’est un nombre. On ne peut pas dire s’il est proche de m, puisqu’on ignore m.
En revanche, on peut étudier la méthode : où se situe-t-elle en moyenne, de combien varie-t-elle ? Ce sont des questions sur la loi de \widehat{\theta} — et le chapitre 2 nous a appris à y répondre.
Les estimateurs usuels
| Paramètre | Estimateur | Sur nos données |
|---|---|---|
| m | \overline{X} | 7\,005{,}80 |
| p | F | 0{,}26 |
| \sigma^2 | s^2 | 5\,066\,894 |
| \sigma | s | 2\,250{,}98 |
Le biais
La cible
La définition
Biais d’un estimateur
\text{biais}(\widehat{\theta}) = E(\widehat{\theta}) - \theta
L’estimateur est dit sans biais lorsque ce nombre est nul : en moyenne sur tous les échantillons possibles, il vise juste.
Sans biais ne veut pas dire exact
Un estimateur sans biais se trompe presque toujours — parfois beaucoup. Il ne se trompe pas systématiquement dans le même sens.
La troisième cible de la figure le montre : sans biais, mais si dispersée qu’un tirage unique n’apprend rien.
Les estimateurs sans biais du cours
Trois vérifications
E(\overline{X}) = m \qquad E(F) = p \qquad E(s^2) = \sigma^2
Les deux premières viennent du chapitre 2, la troisième du chapitre 3 — c’est le rôle du n-1.
Un piège classique
s^2 est sans biais pour \sigma^2. Mais s n’est pas sans biais pour \sigma.
La racine carrée est une fonction concave : elle déforme l’espérance. En pratique le biais est faible et l’on s’en accommode — mais il faut savoir que « sans biais » ne traverse pas les transformations.
Un estimateur biaisé, et pourquoi il l’est
La variance divisée par n
E\!\left(\frac{1}{n}\sum_i (X_i-\overline{X})^2\right) = \frac{n-1}{n}\,\sigma^2
Sur nos simulations à n=10 : 6\,107\,414 au lieu de 6\,750\,122, soit exactement 0{,}90\,\sigma^2.
Le sens du biais compte autant que sa taille
Ce biais est négatif : la dispersion est sous-estimée.
En gestion des risques, un estimateur qui sous-estime la volatilité est bien plus dangereux qu’un estimateur imprécis. Un biais rassurant est le pire de tous — c’est celui qu’on ne cherche pas à corriger.
Ce qu’il faut retenir
Le résumé du chapitre
Cinq points
- Un estimateur est une formule aléatoire ; une estimation est le nombre obtenu.
- On juge la méthode, jamais le nombre : c’est la loi de \widehat{\theta} que l’on étudie.
- \text{biais}(\widehat{\theta}) = E(\widehat{\theta}) - \theta ; il est nul pour \overline{X}, F et s^2.
- Sans biais n’est pas exact : l’estimateur se trompe, mais pas toujours dans le même sens.
- Le biais de la variance non corrigée vaut -\sigma^2/n : il sous-estime le risque.
La suite
L’absence de biais ne suffit pas : la troisième cible de la figure était sans biais et pourtant inutilisable.
Il faut aussi que l’estimateur soit précis, et qu’il s’améliore quand l’échantillon grandit. C’est l’objet du chapitre 6.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)