Statistique inférentielle
Comparer deux groupes
- Présentation du cours
- La troisième face
- Échantillonner
- La distribution d'échantillonnage de la moyenne
- Proportion et variance
- Les trois lois de l'inférence
- Estimateur et biais
- Les qualités d'un estimateur
- Construire un estimateur
- Le principe de l'intervalle de confiance
- L'intervalle pour une moyenne
- Proportion et variance : les intervalles
- Choisir la taille de l'échantillon
- La logique d'un test
- Les deux risques et la puissance
- La p-value
- Tester une moyenne, tester une proportion
- Comparer deux groupes
- L'analyse de la variance
- Les tests du khi-deux
- La régression devient un modèle
- Tester un coefficient
- Mise en œuvre sur R et Python
Statistique inférentielle
Chapitre 16 : Comparer deux groupes
Comparer deux moyennes
Le principe
On teste l’écart, pas les moyennes
H_0 : m_1 = m_2 \qquad\text{c'est-à-dire}\qquad H_0 : m_1 - m_2 = 0
La statistique porte sur la différence, qui est elle-même une variable aléatoire.
L’écart-type de l’écart
Les deux groupes étant indépendants, les variances s’additionnent — c’est le chapitre 11 des probabilités :
\sigma(\overline{X}_1 - \overline{X}_2) = \sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}
La statistique de test
Le test de Welch
t = \frac{\overline{x}_1 - \overline{x}_2}{\sqrt{\dfrac{s_1^2}{n_1} + \dfrac{s_2^2}{n_2}}}
C’est la version qui ne suppose pas l’égalité des variances. C’est celle qu’appliquent R et Python par défaut, et il n’y a aucune raison d’en préférer une autre.
Une simplification qui n’en est pas une
Les manuels présentent souvent une version « à variances égales », dont le degré de liberté est simplement n_1+n_2-2.
Elle exige une hypothèse supplémentaire, qu’il faudrait tester au préalable — et elle ne gagne presque rien. Welch d’abord, toujours.
L’application
Le calcul complet
Hommes contre femmes, sur la population entière
| Groupe | n | Moyenne | Écart-type |
|---|---|---|---|
| Hommes | 285 | 7\,158{,}14 | 2\,448{,}48 |
| Femmes | 215 | 7\,158{,}42 | 2\,795{,}58 |
\sqrt{\frac{2\,448{,}48^2}{285} + \frac{2\,795{,}58^2}{215}} = 239{,}55
t = \frac{-0{,}28}{239{,}55} = -0{,}001 \qquad p \approx 1
La conclusion, et ce qu’elle ne dit pas
Le test tombe au centre exact
Un écart de vingt-huit centimes sur des salaires de sept mille dirhams. Il est difficile d’imaginer un résultat plus clairement non significatif.
Et pourtant on n’a rien prouvé. On a constaté qu’aucun écart n’est détectable — ce qui est une information, mais pas une démonstration d’égalité.
Ce qu’il faut ajouter pour que la conclusion serve
Avec ces effectifs, l’erreur-type de l’écart vaut 240 dirhams. Le test détecte donc facilement un écart de 500, difficilement un écart de 200, jamais un écart de 50.
C’est cela qu’il faut écrire dans le rapport, et non simplement « pas de différence significative ».
Comparer deux proportions
La statistique
Le test de deux proportions
z = \frac{f_1 - f_2}{\sqrt{\widehat{p}(1-\widehat{p})\left(\dfrac{1}{n_1}+\dfrac{1}{n_2}\right)}} \qquad\text{avec}\qquad \widehat{p} = \frac{k_1+k_2}{n_1+n_2}
Pourquoi une proportion commune
Sous H_0, les deux groupes ont la même proportion. La meilleure estimation de cette valeur unique utilise donc les deux échantillons réunis.
C’est la même logique qu’au chapitre 15, où l’on employait p_0 et non f : sous H_0, on calcule comme si H_0 était vraie.
Un exemple de gestion
Deux agences, deux taux de conversion
Agence A : 48 ventes sur 300 visites, soit 16{,}0\,\%. Agence B : 72 ventes sur 360 visites, soit 20{,}0\,\%.
\widehat{p} = \frac{120}{660} = 0{,}1818 \qquad z = \frac{-0{,}04}{\sqrt{0{,}1818 \times 0{,}8182 \times \left(\frac{1}{300}+\frac{1}{360}\right)}} = -1{,}32
|{-1{,}32}| < 1{,}96 : on ne rejette pas, p = 0{,}186.
La décision, malgré l’absence de significativité
Quatre points d’écart de conversion représentent des sommes considérables sur l’année.
Le test dit seulement qu’avec six cent soixante visites, on ne peut pas exclure le hasard. La bonne décision n’est pas d’ignorer l’écart : c’est de prolonger l’observation jusqu’à pouvoir trancher.
Les échantillons appariés
Un cas particulier fréquent
Quand les deux mesures portent sur les mêmes individus
Avant et après une formation, avant et après un changement de tarif, deux méthodes sur les mêmes clients.
On ne compare pas deux groupes : on calcule les n différences individuelles, et l’on teste si leur moyenne est nulle.
C’est le test du chapitre 15, appliqué aux écarts
t = \frac{\overline{d}}{s_d/\sqrt{n}} \;\sim\; \text{Student à } n-1 \text{ ddl}
Aucune formule nouvelle : on a transformé un problème à deux échantillons en un problème à un seul.
Pourquoi c’est bien plus puissant
L’appariement élimine la variabilité individuelle
Traiter deux mesures sur les mêmes personnes comme deux groupes indépendants gaspille l’information la plus précieuse : le fait que ce soient les mêmes personnes.
Les différences individuelles sont beaucoup moins dispersées que les niveaux. À écart réel identique, un test apparié détecte souvent avec dix fois moins d’observations.
La règle de reconnaissance
Si l’on peut mettre les observations deux par deux, il faut apparier.
C’est la faute la plus coûteuse de ce chapitre : conduire une étude avant-après, puis l’analyser comme deux groupes indépendants, et conclure à tort qu’il n’y a pas d’effet.
Ce qu’il faut retenir
Le résumé du chapitre
Six points
- On teste la différence : H_0 : m_1 - m_2 = 0.
- Les variances s’additionnent : \;\sigma(\overline{X}_1-\overline{X}_2) = \sqrt{s_1^2/n_1 + s_2^2/n_2}.
- Utiliser Welch par défaut : il ne suppose pas l’égalité des variances.
- Sur nos salaires, t = -0{,}001 : aucun écart détectable — ce qui ne prouve pas l’égalité.
- Deux proportions : on estime une proportion commune sous H_0.
- Si les observations vont deux par deux, il faut apparier : le gain de puissance est considérable.
La suite
Trois groupes ou davantage, et la méthode ne tient plus : comparer les diplômes deux à deux ferait trois tests, donc un risque réel bien supérieur à 5\,\%.
Le chapitre 17 introduit l’outil conçu pour cela — et l’on y retrouvera la décomposition de la variance du cours de statistique descriptive.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)