Statistique inférentielle
Construire un estimateur
- Présentation du cours
- La troisième face
- Échantillonner
- La distribution d'échantillonnage de la moyenne
- Proportion et variance
- Les trois lois de l'inférence
- Estimateur et biais
- Les qualités d'un estimateur
- Construire un estimateur
- Le principe de l'intervalle de confiance
- L'intervalle pour une moyenne
- Proportion et variance : les intervalles
- Choisir la taille de l'échantillon
- La logique d'un test
- Les deux risques et la puissance
- La p-value
- Tester une moyenne, tester une proportion
- Comparer deux groupes
- L'analyse de la variance
- Les tests du khi-deux
- La régression devient un modèle
- Tester un coefficient
- Mise en œuvre sur R et Python
Statistique inférentielle
Chapitre 7 : Construire un estimateur
Deux méthodes
Pourquoi il faut une méthode
L’évidence s’arrête vite
Pour estimer une moyenne, on prend la moyenne : personne n’hésite.
Mais pour estimer le paramètre \lambda d’une loi exponentielle, la borne supérieure d’une loi uniforme, ou la probabilité de défaut d’un portefeuille observé partiellement ? L’intuition ne suffit plus.
Les deux méthodes du cours
La méthode des moments : on égale les moments théoriques aux moments observés.
Le maximum de vraisemblance : on retient la valeur du paramètre qui rendait les données les plus plausibles.
La méthode des moments
Le principe
Une équation par paramètre
On écrit l’espérance théorique en fonction du paramètre, on l’égale à la moyenne observée, et on résout.
E(X) = g(\theta) \quad\Longrightarrow\quad \overline{x} = g(\widehat{\theta}) \quad\Longrightarrow\quad \widehat{\theta} = g^{-1}(\overline{x})
Trois applications immédiates
| Loi | Relation | Estimateur |
|---|---|---|
| Bernoulli \mathcal{B}(p) | E(X)=p | \widehat{p} = \overline{x} = f |
| Poisson \mathcal{P}(\lambda) | E(X)=\lambda | \widehat{\lambda} = \overline{x} |
| Exponentielle | E(X)=1/\lambda | \widehat{\lambda} = 1/\overline{x} |
Ses mérites et ses limites
Simple, mais rustique
Elle ne demande aucun calcul difficile, et donne souvent le bon résultat du premier coup.
Mais elle n’utilise que les premiers moments — donc pas toute l’information de l’échantillon. Elle peut produire des estimateurs manifestement inefficaces, voire absurdes.
Un cas où elle échoue
Sur une loi uniforme sur [0\,;b], elle donne \widehat{b} = 2\overline{x}.
Si l’échantillon contient la valeur 9 mais que 2\overline{x} = 8, l’estimateur affirme que le maximum possible est 8 — alors qu’on a observé 9. Une estimation contredite par les données mêmes.
Le maximum de vraisemblance
Retourner la question des probabilités
La définition
Fonction de vraisemblance
Pour un échantillon x_1, \dots, x_n indépendant, la vraisemblance est la probabilité d’observer exactement ces données, vue comme une fonction du paramètre :
L(\theta) = \prod_{i=1}^{n} f(x_i \,;\theta)
L’estimateur du maximum de vraisemblance est la valeur \widehat{\theta} qui maximise L.
Le renversement, en une phrase
Le cours de probabilités demandait : le paramètre étant donné, quelle chance d’observer ces données ?
L’inférence demande : ces données étant observées, quelle valeur du paramètre les rendait les plus vraisemblables ? Même fonction, lue dans l’autre sens.
La technique de calcul
On maximise le logarithme
\ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i \,;\theta)
Le logarithme est croissant : il a le même maximum. Et il transforme le produit en somme, ce qui rend la dérivation praticable.
Le cas de Bernoulli, entièrement traité
Sur n = 12 crédits, k = 3 défauts :
L(p) = p^{3}(1-p)^{9} \qquad \ln L(p) = 3\ln p + 9\ln(1-p)
\frac{\mathrm{d}\ln L}{\mathrm{d}p} = \frac{3}{p} - \frac{9}{1-p} = 0 \quad\Longrightarrow\quad \widehat{p} = \frac{3}{12} = 0{,}25
Ce que le résultat signifie
La fréquence observée n’était pas un choix arbitraire
Le maximum de vraisemblance redonne la proportion empirique. Ce que l’introduction des probabilités posait comme une définition intuitive se révèle être la solution d’un problème d’optimisation.
De même, pour une population normale, la méthode redonne \overline{x} pour m. Les estimateurs « évidents » sont ceux que la théorie construit.
Ses propriétés, et pourquoi il domine
- Convergent — il s’approche du vrai paramètre.
- Asymptotiquement sans biais — le biais s’efface quand n grandit.
- Asymptotiquement efficace — aucun autre ne fait mieux à grand échantillon.
- Invariant — l’estimateur de g(\theta) est g(\widehat{\theta}), sans recalcul.
Ses limites
Trois réserves à connaître
- Il peut être biaisé à distance finie : sur une population normale, il estime \sigma^2 en divisant par n, pas par n-1.
- Il exige de postuler une loi. Si la loi supposée est fausse, l’estimateur est faux — et rien ne le signale.
- Le maximum n’a pas toujours de forme explicite : il faut alors le chercher numériquement.
Sa portée réelle
C’est pourtant la méthode d’estimation la plus employée au monde : régression logistique, modèles GARCH, économétrie des données de panel, apprentissage statistique.
Tout ce qui n’est pas une régression linéaire ordinaire est, presque toujours, du maximum de vraisemblance.
Ce qu’il faut retenir
Le résumé du chapitre
Six points
- Un estimateur se construit ; il ne se devine pas.
- Méthode des moments : égaler moments théoriques et moments observés. Simple, parfois grossière.
- Maximum de vraisemblance : retenir la valeur qui rendait les données les plus plausibles.
- On maximise \ln L : même maximum, produits transformés en sommes.
- Pour Bernoulli il redonne f, pour la normale il redonne \overline{x} : les estimateurs usuels sont les siens.
- Convergent, asymptotiquement sans biais et efficace, invariant — mais il exige de postuler une loi.
La suite
Une estimation ponctuelle est un nombre unique, et elle est presque sûrement fausse : la probabilité que \overline{x} vaille exactement m est nulle.
Annoncer 7\,005{,}80 sans rien d’autre est donc une information incomplète. La quatrième partie ajoute ce qui manque : la précision.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)