Analyse des données avancée
Distances et dissimilarités
- Présentation du cours
- Reprendre l'analyse des données par l'algèbre
- Le tableau, les poids et la métrique
- L'inertie, formalisée
- Diagonalisation et décomposition en valeurs singulières
- L'ACP en écriture matricielle
- Dualité et relations de transition
- Combien d'axes retenir
- Contributions, cosinus carrés et éléments supplémentaires
- L'AFC et la métrique du khi-deux
- Profils, barycentres et lecture conjointe
- L'analyse des correspondances multiples
- Distances et dissimilarités
- La classification ascendante hiérarchique
- Les k-means et la consolidation
- Décrire et nommer les segments
- L'analyse factorielle discriminante
- Classer un nouveau client
- Le positionnement multidimensionnel
- Étude de cas
- Mise en œuvre sur R et Python
Analyse des données avancée
Chapitre 11 : Distances et dissimilarités
Que veut dire ressembler
Le problème posé
Le directeur commercial demande : « regroupez-moi les clients qui se ressemblent ».
Se ressemblent selon quoi ? Selon leurs notes, selon leur panier, selon leur fréquence de visite ? Et si l’on prend les notes, faut-il compter la propreté autant que le prix ?
L’ACP se contentait des données : la géométrie découlait des corrélations.
La classification exige une décision préalable : celle d’une distance. Aucun algorithme ne la choisira à votre place, et le résultat en dépend entièrement.
Les distances usuelles
Ce que vérifie une distance
Les trois propriétés
Une distance vérifie : d(i,i)=0, d(i,j)=d(j,i), et l’inégalité triangulaire d(i,k)\leq d(i,j)+d(j,k).
Une dissimilarité ne vérifie que les deux premières.
Quand on demande à un client « ces deux enseignes se ressemblent-elles ? », rien ne garantit l’inégalité triangulaire : il peut juger A proche de B, B proche de C, et A très loin de C.
Les jugements humains ne forment pas une distance. C’est précisément pour cela que le positionnement multidimensionnel existe : il cherche la carte qui approche au mieux des dissimilarités qui n’en sont pas.
Le cas des données mixtes
Huit notes quantitatives, cinq variables qualitatives. Aucune distance usuelle ne les traite ensemble.
Trois solutions, par ordre de préférence croissante : découper les notes en tranches et tout traiter en qualitatif ; utiliser un indice mixte comme celui de Gower ; ou faire une analyse factorielle d’abord et classer sur les coordonnées obtenues.
On classe sur les premiers axes factoriels, jamais sur les variables brutes.
Ces axes sont quantitatifs, non corrélés, et de même nature quelle que soit l’origine des données. La distance euclidienne y retrouve tout son sens.
Classer sur les axes
Trois raisons, et la troisième est décisive
- Débruiter : les derniers axes ne portent que de l’erreur de mesure.
- Décorréler : sur des variables corrélées, la distance euclidienne compte plusieurs fois la même information.
- Homogénéiser : une seule échelle, quelle que soit la nature des données de départ.
Prix, choix et qualité sont corrélés autour de 0{,}70. Deux clients qui diffèrent sur ces trois notes diffèrent trois fois pour une seule raison.
La distance euclidienne sur les huit notes brutes surpondère donc le bloc « offre ». Sur les composantes, le problème disparaît par construction : elles sont non corrélées.
Combien d’axes garder pour classer
Pour représenter, deux axes suffisaient — on ne dessine pas en dimension trois.
Pour classer, on peut en garder davantage : rien n’oblige à visualiser. L’usage est de conserver les axes jusqu’à 80 ou 90\,\% de l’inertie.
Ils portent 77{,}3\,\%, et le troisième ne pèse que 4{,}8\,\% — du bruit.
On classera donc sur F_1 et F_2. Avantage supplémentaire, et il n’est pas mince : la partition obtenue sera directement lisible sur le plan que nous savons déjà interpréter.
Ce qu’il faut retenir
Le résumé du chapitre
- Classer exige de choisir une distance — décision que l’ACP n’imposait pas.
- Euclidienne pour les variables réduites, khi-deux pour les profils, Jaccard pour les présences-absences.
- Une dissimilarité ne vérifie pas l’inégalité triangulaire ; les jugements humains non plus.
- Sur données mixtes, la meilleure voie est de classer sur les axes factoriels.
- Trois raisons : débruiter, décorréler, homogénéiser.
- Nous classerons sur F_1 et F_2, soit 77{,}3\,\% de l’information.
La distance est choisie. Reste à construire les groupes — et deux familles d’algorithmes s’y emploient, avec des logiques opposées.
On commence par celle qui ne demande pas de fixer le nombre de classes à l’avance.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)