Analyse des données avancée
Reprendre l’analyse des données par l’algèbre
- Présentation du cours
- Reprendre l'analyse des données par l'algèbre
- Le tableau, les poids et la métrique
- L'inertie, formalisée
- Diagonalisation et décomposition en valeurs singulières
- L'ACP en écriture matricielle
- Dualité et relations de transition
- Combien d'axes retenir
- Contributions, cosinus carrés et éléments supplémentaires
- L'AFC et la métrique du khi-deux
- Profils, barycentres et lecture conjointe
- L'analyse des correspondances multiples
- Distances et dissimilarités
- La classification ascendante hiérarchique
- Les k-means et la consolidation
- Décrire et nommer les segments
- L'analyse factorielle discriminante
- Classer un nouveau client
- Le positionnement multidimensionnel
- Étude de cas
- Mise en œuvre sur R et Python
Analyse des données avancée
Introduction : Reprendre l’analyse des données par l’algèbre
Prérequis
Ce que ce cours suppose acquis
Introduction à l’analyse des données et Algèbre linéaire.
De l’analyse des données : la variable centrée réduite, la covariance, l’inertie, l’idée de l’ACP et de l’AFC.
De l’algèbre linéaire, cette fois exigée : la diagonalisation d’une matrice symétrique, les formes quadratiques, la projection orthogonale.
Ce que le cours établit lui-même
La décomposition en valeurs singulières est établie dans le cours : elle n’est pas supposée connue.
Ce cours reprend l’intégralité de l’analyse des données, mais avec les démonstrations que la Licence avait admises. Il ne se contente pas d’ajouter des méthodes : il refait les premières autrement.
Avant de commencer
Ce que ce cours reprend, et pourquoi
Le cours Introduction à l’analyse des données, en Licence, a montré ce que font les méthodes factorielles : réduire la dimension en perdant le moins d’information possible.
Ce cours reprend l’ensemble depuis le début pour montrer pourquoi elles le font, et comment — puis le prolonge jusqu’à la classification, la discrimination et le positionnement.
En Licence, on a admis que les axes factoriels étaient les vecteurs propres d’une certaine matrice.
Ici, on le démontre — et l’on découvre au passage que l’analyse en composantes principales, l’analyse des correspondances et le positionnement multidimensionnel sont le même calcul, appliqué à trois métriques différentes.
Le problème, rappelé en une image
La place de l’analyse des données
Explorer et confirmer
Deux démarches, deux logiques
Ce que l’exploratoire n’autorise pas
Rien de ce cours n’est un test statistique. Il n’y a ni hypothèse nulle, ni p-valeur, ni intervalle de confiance.
Les méthodes décrivent le tableau qu’on leur donne. Elles ne disent rien d’une population dont ce tableau serait un échantillon.
Un axe factoriel n’est pas « significatif ». Une segmentation n’est pas « vraie ». Ce sont des résumés, dont la seule justification est d’être utiles et reproductibles.
D’où la règle qui gouverne tout le cours : une structure qu’une seule méthode voit n’est pas une structure. On la confirmera par une seconde méthode, ou on ne la retiendra pas.
La carte des méthodes
Les deux fils rouges
Trois cents clients, huit notes
Une enseigne interroge 300 clients. Chacun note huit critères de 0 à 20 : prix, choix, qualité, agencement, propreté, rapidité, conseil, accueil.
S’y ajoutent des variables signalétiques — sexe, âge, catégorie socioprofessionnelle, fréquence de visite, ancienneté, panier moyen, motif — qui ne serviront pas à construire les axes, mais à les interpréter.
Aucune question n’est posée d’avance. On demande au tableau ce qu’il contient, et l’on verra qu’il contient deux choses seulement : un niveau général de satisfaction, et une opposition entre deux familles de critères.
Tout le reste — les 300 \times 8 = 2\,400 nombres — est du détail individuel.
Quatre individus, deux variables
Le fichier de 300 clients ne se diagonalise pas au tableau. Un second exemple, minuscule, servira à écrire les calculs en entier :
| Individu | x_1 | x_2 |
|---|---|---|
| 1 | -2 | -2 |
| 2 | -1 | \phantom{-}1 |
| 3 | \phantom{-}1 | -1 |
| 4 | \phantom{-}2 | \phantom{-}2 |
Les deux colonnes sont déjà centrées : leurs sommes valent zéro.
Pourquoi ces valeurs précises
Elles ont été choisies pour que tout tombe juste. On verra apparaître \mathbf{X}'\mathbf{X}=\begin{pmatrix}10 & 6\\ 6 & 10\end{pmatrix}, de valeurs propres 16 et 4, donc de valeurs singulières 4 et 2.
Aucune décimale, aucune calculatrice : c’est la seule façon de voir la mécanique.
Ce qu’il faut retenir
Le résumé du chapitre
- Ce cours reprend l’analyse des données depuis le début, en donnant les démonstrations que la Licence avait admises.
- La démarche est exploratoire : aucune hypothèse préalable, donc aucun test.
- Une structure vue par une seule méthode ne se retient pas : il faut la recouper.
- Deux fils rouges : 300 clients et 8 notes pour les résultats, 4 individus et 2 variables pour les calculs.
- Le fichier des 300 clients est réel et fourni : tous les chiffres du cours sont reproductibles.
Avant de calculer quoi que ce soit, il faut dire précisément ce sur quoi l’on calcule : un tableau, des poids sur les lignes, une métrique sur les colonnes. C’est l’objet du chapitre 1, et c’est là que se jouent la plupart des choix qu’un logiciel fait à notre place.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)