Analyse des données avancée
L’AFC et la métrique du khi-deux
- Présentation du cours
- Reprendre l'analyse des données par l'algèbre
- Le tableau, les poids et la métrique
- L'inertie, formalisée
- Diagonalisation et décomposition en valeurs singulières
- L'ACP en écriture matricielle
- Dualité et relations de transition
- Combien d'axes retenir
- Contributions, cosinus carrés et éléments supplémentaires
- L'AFC et la métrique du khi-deux
- Profils, barycentres et lecture conjointe
- L'analyse des correspondances multiples
- Distances et dissimilarités
- La classification ascendante hiérarchique
- Les k-means et la consolidation
- Décrire et nommer les segments
- L'analyse factorielle discriminante
- Classer un nouveau client
- Le positionnement multidimensionnel
- Étude de cas
- Mise en œuvre sur R et Python
Analyse des données avancée
Chapitre 8 : L’AFC et la métrique du khi-deux
Un tableau d’une autre nature
Le tableau de contingence
Deux variables qualitatives croisées. Chaque case porte un effectif, non une mesure.
Il n’y a ni moyenne, ni variance, ni corrélation à calculer sur des catégories : rien de l’ACP ne s’applique.
Le même fichier de 300 clients, mais deux de ses variables qualitatives : la catégorie socioprofessionnelle et le motif de fréquentation.
Ces deux variables étaient illustratives en ACP. Elles deviennent ici les variables actives d’une analyse à part entière.
Le tableau croisé
Les notations
f_{ij}=\frac{n_{ij}}{n}, \qquad f_{i\cdot}=\sum_j f_{ij}, \qquad f_{\cdot j}=\sum_i f_{ij}
Marges-lignes : 22, 101, 72, 75, 30. Marges-colonnes : 84, 82, 68, 66. Total n=300.
Les profils
Diviser par la marge
\text{profil}(i) = \left(\frac{f_{i1}}{f_{i\cdot}},\ \dots,\ \frac{f_{iJ}}{f_{i\cdot}}\right), \qquad \text{de somme } 1
Trois profils, en pourcentages de ligne
| Prix | Choix | Proximité | Service | |
|---|---|---|---|---|
| Étudiant | 63{,}6 | 9{,}1 | 22{,}7 | 4{,}5 |
| Cadre | 11{,}1 | 55{,}6 | 11{,}1 | 22{,}2 |
| Retraité | 16{,}7 | 3{,}3 | 56{,}7 | 23{,}3 |
| Profil moyen | \mathbf{28{,}0} | \mathbf{27{,}3} | \mathbf{22{,}7} | \mathbf{22{,}0} |
Diviser par la marge, en image
Pourquoi le profil et non l’effectif
Il y a 22 étudiants et 101 employés. Comparer leurs effectifs ferait apparaître une différence qui n’est que de taille, non de comportement.
Le profil élimine la taille et ne laisse que la structure. En AFC, on ne compare jamais des lignes : on compare des profils.
Le profil moyen est la marge
\sum_i f_{i\cdot}\,\frac{f_{ij}}{f_{i\cdot}} = \sum_i f_{ij} = f_{\cdot j}
Le barycentre des profils-lignes, pondérés par leurs marges, est le profil marginal des colonnes.
Le centre du nuage n’est donc pas choisi : c’est la marge, et rien d’autre.
Et il porte le sens le plus fort du tableau : le profil moyen est le profil de l’indépendance. Un profil qui s’en écarte est un profil qui a quelque chose à dire.
La métrique du khi-deux
La définition
d^2_{\chi^2}(i,\ell) = \sum_{j=1}^{J} \frac{1}{f_{\cdot j}} \left(\frac{f_{ij}}{f_{i\cdot}} - \frac{f_{\ell j}}{f_{\ell\cdot}}\right)^{\!2}
C’est une distance euclidienne pondérée par l’inverse des marges-colonnes : c’est le triplet \mathbf{M}=\mathbf{D}_c^{-1} du chapitre 1.
Un écart de 5 points sur une colonne qui pèse 50\,\% est un écart de un dixième : peu de chose.
Le même écart sur une colonne qui pèse 5\,\% double cette colonne. La division par la marge rend les deux comparables — sans elle, les modalités rares seraient invisibles.
La propriété d’équivalence distributionnelle
Si deux colonnes ont le même profil, les regrouper en une seule ne change aucune distance entre lignes.
Le découpage des modalités est presque toujours arbitraire. Faut-il distinguer cadre et profession libérale ? Découper l’âge en quatre tranches ou en six ?
L’équivalence distributionnelle garantit que, si deux modalités se comportent pareil, le résultat ne dépend pas du découpage. Aucune autre métrique ne l’assure — et cet argument justifie le facteur 1/f_{\cdot j} mieux que tout raisonnement d’échelle.
Les distances sur nos données
d^2(\text{Étudiant},\text{Cadre}) = \frac{(0{,}636-0{,}111)^2}{0{,}280} + \frac{(0{,}091-0{,}556)^2}{0{,}273} + \frac{(0{,}227-0{,}111)^2}{0{,}227} + \frac{(0{,}045-0{,}222)^2}{0{,}220}
= 0{,}984 + 0{,}792 + 0{,}059 + 0{,}142 = 1{,}977
| Couple | d^2_{\chi^2} |
|---|---|
| Étudiant – Employé | 0{,}189 |
| Cadre – Indépendant | 0{,}543 |
| Employé – Indépendant | 0{,}832 |
| Étudiant – Cadre | 1{,}977 |
| Cadre – Retraité | 1{,}925 |
Étudiants et employés sont dix fois plus proches l’un de l’autre que d’un cadre : ils viennent tous deux d’abord pour le prix.
Cadres et indépendants forment un second couple. Les retraités, eux, sont loin de tout le monde.
Le tableau oppose donc une clientèle de prix à une clientèle de choix et de service, avec les retraités à part. Tout cela avant d’avoir diagonalisé quoi que ce soit.
Du khi-deux à l’inertie
Les deux quantités
\chi^2 = \sum_{i,j} \frac{(n_{ij}-e_{ij})^2}{e_{ij}}, \qquad e_{ij}=\frac{n_{i\cdot}n_{\cdot j}}{n}
\Phi^2 = \frac{\chi^2}{n} = \text{inertie totale du nuage des profils}
Les quatre cases qui font la moitié du total
| Case | Observé | Attendu | Écart au carré rapporté |
|---|---|---|---|
| Étudiant – Prix | 14 | 6{,}16 | 9{,}98 |
| Cadre – Choix | 40 | 19{,}68 | 20{,}98 |
| Retraité – Proximité | 17 | 6{,}80 | 15{,}30 |
| Indépendant – Service | 32 | 16{,}50 | 14{,}56 |
À elles seules : 60{,}8 sur \chi^2 = 110{,}41, soit 55\,\%.
L’inertie
\Phi^2 = \frac{110{,}41}{300} = 0{,}3680
L’identité qui relie les deux mondes
I = \sum_i f_{i\cdot}\ d^2_{\chi^2}\!\left(\text{profil}(i),\ \text{profil moyen}\right) = \Phi^2
| Ligne | Poids | Inertie | Part |
|---|---|---|---|
| Étudiant | 0{,}073 | 0{,}0523 | 14{,}2\,\% |
| Employé | 0{,}337 | 0{,}0637 | 17{,}3\,\% |
| Cadre | 0{,}240 | 0{,}1085 | 29{,}5\,\% |
| Indépendant | 0{,}250 | 0{,}0667 | 18{,}1\,\% |
| Retraité | 0{,}100 | 0{,}0767 | 20{,}9\,\% |
| Total | \mathbf{1} | \mathbf{0{,}3680} | \mathbf{100\,\%} |
Ce que la décomposition apprend déjà
Les cadres portent 29{,}5\,\% de l’information du tableau alors qu’ils ne sont que 24\,\% de l’effectif : c’est la catégorie la plus atypique.
Les retraités en portent 20{,}9\,\% en n’étant que 10\,\% — deux fois leur poids. Les employés, à l’inverse, en portent 17{,}3\,\% pour 34\,\% de l’effectif : ils sont proches du profil moyen.
Poids et inertie sont deux choses distinctes, et c’est leur écart qui est instructif.
Ce que l’inférence en faisait, et ce qu’on en fait
En statistique inférentielle, \chi^2 = 110{,}4 pour 12 degrés de liberté se compare à 21{,}0 : on rejette l’indépendance. La conclusion est oui ou non.
En analyse des données, le même 110{,}4 devient une inertie à décomposer. La question n’est plus « y a-t-il une liaison » mais « laquelle ».
Le test ferme la question ; l’analyse l’ouvre.
Le calcul factoriel
La matrice à décomposer
\mathbf{S} = \mathbf{D}_r^{-1/2}\,(\mathbf{P}-\mathbf{r}\mathbf{c}')\,\mathbf{D}_c^{-1/2}
où \mathbf{P}=(f_{ij}), \mathbf{r} et \mathbf{c} sont les vecteurs de marges, \mathbf{D}_r et \mathbf{D}_c leurs matrices diagonales.
On lui applique la décomposition en valeurs singulières du chapitre 3 : \mathbf{S}=\mathbf{U}\boldsymbol{\Sigma}\mathbf{V}'.
\mathbf{P}-\mathbf{r}\mathbf{c}' est l’écart à l’indépendance : c’est le centrage propre à l’AFC.
Les deux facteurs \mathbf{D}_r^{-1/2} et \mathbf{D}_c^{-1/2} sont la métrique du khi-deux et la pondération par les marges.
Et \sum_{i,j} s_{ij}^2 = \Phi^2 : la somme des carrés des éléments de \mathbf{S} est l’inertie totale.
Les valeurs propres
| Axe | \lambda_k | Part | Cumul |
|---|---|---|---|
| 1 | 0{,}2267 | 61{,}6\,\% | 61{,}6\,\% |
| 2 | 0{,}1030 | 28{,}0\,\% | 89{,}6\,\% |
| 3 | 0{,}0384 | 10{,}4\,\% | 100\,\% |
Le rang vaut \min(5,4)-1 = 3 : trois axes au plus, quelle que soit la méthode.
\sqrt{\lambda_k} est une corrélation canonique entre les deux variables qualitatives. Elle est donc comprise entre 0 et 1, et \lambda_k \leq 1 toujours.
Ici \sqrt{\lambda_1}=0{,}476 : la liaison est nette sans être écrasante. Une valeur propre proche de 1 signalerait deux variables presque confondues — donc redondantes.
Le plan suffira
Deux axes portent 89{,}6\,\% de l’inertie. Le troisième, à 10{,}4\,\%, est le dernier possible : il ramasse ce qui reste, sans nécessairement porter du sens.
Le chapitre 9 lit le plan.
Ce qu’il faut retenir
Le résumé du chapitre
- En AFC, on ne compare pas des lignes mais des profils : la marge est éliminée.
- Le profil moyen est la marge, et c’est le profil de l’indépendance.
- La distance du khi-deux pondère chaque colonne par 1/f_{\cdot j} — c’est le triplet \mathbf{M}=\mathbf{D}_c^{-1}.
- Ce choix seul garantit l’équivalence distributionnelle : le résultat ne dépend pas du découpage des modalités.
- I=\Phi^2=\chi^2/n : l’inertie du nuage est le khi-deux rapporté à l’effectif. Ici 0{,}368.
- Poids et inertie diffèrent : les cadres pèsent 24\,\% de l’effectif et portent 29{,}5\,\% de l’information.
Les axes sont calculés. Le chapitre 9 établit les relations barycentriques — celles qui autorisent, en AFC seulement, à lire lignes et colonnes sur un même graphique.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)