Analyse des données avancée
La classification ascendante hiérarchique
- Présentation du cours
- Reprendre l'analyse des données par l'algèbre
- Le tableau, les poids et la métrique
- L'inertie, formalisée
- Diagonalisation et décomposition en valeurs singulières
- L'ACP en écriture matricielle
- Dualité et relations de transition
- Combien d'axes retenir
- Contributions, cosinus carrés et éléments supplémentaires
- L'AFC et la métrique du khi-deux
- Profils, barycentres et lecture conjointe
- L'analyse des correspondances multiples
- Distances et dissimilarités
- La classification ascendante hiérarchique
- Les k-means et la consolidation
- Décrire et nommer les segments
- L'analyse factorielle discriminante
- Classer un nouveau client
- Le positionnement multidimensionnel
- Étude de cas
- Mise en œuvre sur R et Python
Analyse des données avancée
Chapitre 12 : La classification ascendante hiérarchique
L’algorithme
Le principe, en trois lignes
- Au départ, chaque individu est une classe : n classes.
- À chaque étape, fusionner les deux classes les plus proches.
- S’arrêter quand il n’en reste qu’une.
Non pas une partition, mais une suite emboîtée de partitions — de n classes à une seule.
C’est ce qui fait la force de la méthode : on n’a pas à décider du nombre de classes avant de calculer. On regarde l’arbre, puis on coupe.
Les critères d’agrégation
Le critère de Ward
Pourquoi c’est presque toujours celui qu’on retient
\Delta(a,b)=\frac{n_a\,n_b}{n_a+n_b}\;d^2(G_a,G_b)
On fusionne les deux classes dont la réunion fait perdre le moins d’inertie interclasse.
Le facteur d^2(G_a,G_b) dit que les classes doivent être proches.
Le facteur \dfrac{n_an_b}{n_a+n_b} dit qu’il est plus coûteux de fusionner deux grosses classes. Ward tend donc à produire des classes de tailles comparables — ce qui est en général souhaitable en segmentation : une classe de deux clients ne sert à rien.
La cohérence avec l’ACP
Ward raisonne en inertie : exactement la quantité que l’ACP a maximisée, et exactement celle que l’on décomposera pour juger la partition.
Enchaîner ACP puis CAH de Ward, ce n’est donc pas juxtaposer deux méthodes : c’est poursuivre le même calcul. C’est pourquoi cette séquence est devenue la pratique standard des études de marché.
I_{\text{totale}} = I_{\text{intraclasse}} + I_{\text{interclasse}}
Une bonne partition maximise l’inter — les classes bien séparées — et minimise l’intra — les classes homogènes. Les deux objectifs n’en font qu’un.
L’arbre et sa coupure
Le dendrogramme
Où couper, en chiffres
La partition obtenue
| Classe | Effectif | F_1 moyen | F_2 moyen |
|---|---|---|---|
| 1 | 61 | +2{,}50 | -0{,}45 |
| 2 | 82 | +1{,}06 | +1{,}31 |
| 3 | 59 | +0{,}06 | -1{,}61 |
| 4 | 98 | -2{,}49 | +0{,}16 |
L’inertie interclasse représente 74{,}93\,\% de l’inertie du nuage projeté.
Trois quarts de la dispersion des clients s’expliquent par leur appartenance à l’une des quatre classes. Le quart restant est la variabilité à l’intérieur des classes — et il n’y a aucune raison de vouloir l’annuler : des clients d’un même segment ne sont pas identiques.
Les limites de la méthode
Deux défauts qu’il faut connaître
- Une fusion est définitive. Deux individus réunis à l’étape 3 le restent jusqu’au bout, même si l’étape 200 montre qu’ils n’auraient pas dû l’être.
- Le calcul est lourd : il faut la matrice des n(n-1)/2 distances. À 100\,000 clients, c’est impraticable.
Il s’appelle la consolidation : reprendre la partition obtenue et laisser un algorithme la corriger, individu par individu.
C’est exactement ce que fait la seconde famille d’algorithmes. Les deux méthodes sont complémentaires, non concurrentes — et le chapitre 13 le montre sur nos données.
Une mise en garde de fond
L’algorithme produira un dendrogramme sur n’importe quelles données, y compris sur trois cents points tirés au hasard.
Il n’existe aucun test pour savoir si les classes sont réelles. Une CAH ne découvre pas des groupes : elle en construit.
Trois vérifications, dans cet ordre. Le saut d’inertie est-il net ? Un arbre sans coupure évidente signale un nuage sans structure. Les classes s’interprètent-elles ? Se retrouve-t-on avec une autre méthode ?
Sur nos données, le saut passe de 3{,}62 à 9{,}74\,\%, les quatre classes se nomment sans peine, et le chapitre 13 confirmera la partition. Trois signaux concordants.
Ce qu’il faut retenir
Le résumé du chapitre
- La CAH part de n classes et fusionne à chaque étape les deux plus proches.
- Elle produit une hiérarchie, non une partition : on choisit après coup.
- Ward minimise la perte d’inertie interclasse — même monnaie que l’ACP.
- On coupe avant le grand saut : ici de 3{,}62 à 9{,}74\,\%, donc quatre classes.
- Notre partition retient 74{,}93\,\% de l’inertie en interclasse.
- Deux limites : les fusions sont définitives, et le calcul est lourd sur gros fichiers.
Une seconde famille d’algorithmes corrige les deux défauts — au prix d’une exigence nouvelle : il faut lui dire combien de classes on veut.
Puisque la CAH vient de répondre à cette question, les deux méthodes s’enchaînent naturellement.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)