Analyse des données avancée
Dualité et relations de transition
- Présentation du cours
- Reprendre l'analyse des données par l'algèbre
- Le tableau, les poids et la métrique
- L'inertie, formalisée
- Diagonalisation et décomposition en valeurs singulières
- L'ACP en écriture matricielle
- Dualité et relations de transition
- Combien d'axes retenir
- Contributions, cosinus carrés et éléments supplémentaires
- L'AFC et la métrique du khi-deux
- Profils, barycentres et lecture conjointe
- L'analyse des correspondances multiples
- Distances et dissimilarités
- La classification ascendante hiérarchique
- Les k-means et la consolidation
- Décrire et nommer les segments
- L'analyse factorielle discriminante
- Classer un nouveau client
- Le positionnement multidimensionnel
- Étude de cas
- Mise en œuvre sur R et Python
Analyse des données avancée
Chapitre 5 : Dualité et relations de transition
Les deux nuages
Un tableau, deux lectures
Ce qui distingue les deux nuages
n points dans \mathbb{R}^p. Deux points sont proches quand les individus ont répondu de la même façon.
La métrique est euclidienne — sur données réduites, d^2(i,\ell)=\sum_j (z_{ij}-z_{\ell j})^2.
p points dans \mathbb{R}^n. Sur données réduites, chaque variable est un vecteur de norme 1, et
\cos(\mathbf{z}_j, \mathbf{z}_m) = r(x_j, x_m)
Ce qui compte n’est donc pas la distance, mais l’angle : la corrélation est un cosinus.
Ces deux nuages ne vivent pas dans le même espace, ne se mesurent pas de la même façon, et ne répondent pas à la même question.
Rien n’annonce qu’ils aient un rapport. Et pourtant ils ont les mêmes valeurs propres.
Le théorème de dualité
L’énoncé
\mathbf{R} = \tfrac{1}{n}\mathbf{Z}'\mathbf{Z} \quad (p\times p) \qquad\qquad \mathbf{W} = \tfrac{1}{n}\mathbf{Z}\mathbf{Z}' \quad (n\times n)
Elles ont les mêmes valeurs propres non nulles, en nombre égal au rang de \mathbf{Z}.
Soit \mathbf{R}\mathbf{u}=\lambda\mathbf{u} avec \lambda \neq 0. Multiplions à gauche par \mathbf{Z} :
\tfrac{1}{n}\mathbf{Z}\mathbf{Z}'\mathbf{Z}\mathbf{u} = \lambda\,\mathbf{Z}\mathbf{u} \qquad \text{soit} \qquad \mathbf{W}\,(\mathbf{Z}\mathbf{u}) = \lambda\,(\mathbf{Z}\mathbf{u})
Donc \mathbf{Z}\mathbf{u} est vecteur propre de \mathbf{W} pour la même valeur propre. La réciproque s’obtient en multipliant par \mathbf{Z}'.
Ce que la démonstration révèle au passage
Le vecteur propre de \mathbf{W} n’est pas seulement associé à la même valeur propre : c’est \mathbf{Z}\mathbf{u}, c’est-à-dire la composante principale elle-même.
Autrement dit, l’analyse des individus ne fournit rien de neuf. Elle est l’analyse des variables, lue de l’autre côté.
Le prix du calcul
\mathbf{R} est 8\times 8. \mathbf{W} est 300\times 300.
Le coût d’une diagonalisation croît comme le cube de la taille : 8^3=512 contre 300^3=27 millions. On diagonalise \mathbf{R}, puis on déduit le nuage des individus.
Sur un fichier de 100\,000 clients et 20 variables, la dualité n’est plus une élégance : c’est la seule façon de calculer quoi que ce soit.
Les relations de transition
Passer d’un nuage à l’autre
\mathbf{F}_k = \frac{1}{\sqrt{\lambda_k}}\ \mathbf{Z}\,\mathbf{G}_k \qquad\qquad \mathbf{G}_k = \frac{1}{\sqrt{\lambda_k}}\ \tfrac{1}{n}\mathbf{Z}'\,\mathbf{F}_k
où \mathbf{F}_k porte les coordonnées des individus et \mathbf{G}_k celles des variables.
Un individu se place là où le tirent les variables sur lesquelles il note haut. Un client qui donne de bonnes notes à tout est tiré du côté où toutes les variables se trouvent.
Une variable se place là où sont les individus qui y notent haut. Chaque formule est une moyenne pondérée de l’autre, à un facteur 1/\sqrt{\lambda_k} près.
Ce que le facteur d’échelle empêche
Sans lui, les deux nuages ne seraient pas à la même échelle et la transition serait fausse.
Avec lui, on peut superposer les deux représentations — c’est le biplot — mais jamais lire une distance entre un individu et une variable.
Sur un biplot, un client tombe près de la variable accueil. On conclut qu’il a bien noté l’accueil.
C’est illégitime. Les deux nuages sont dans des espaces différents ; leur superposition est une commodité graphique. Seule la direction commune se lit : le client est du même côté de l’origine que la variable.
En AFC, au chapitre 9, la superposition sera au contraire pleinement justifiée — et c’est la seule méthode du cours où elle le soit.
Ce que le cercle des corrélations est vraiment
G_{jk} = r(x_j,\ \mathbf{F}_k)
La coordonnée d’une variable sur l’axe k est sa corrélation avec la composante k.
Une corrélation est comprise entre -1 et 1 : toutes les variables sont donc dans le cercle de rayon 1.
\sum_j G_{jk}^2 = \lambda_k : les longueurs sur un axe se somment en la valeur propre.
Une variable près du cercle est bien représentée dans le plan ; une variable près du centre ne l’est pas, et son angle avec les autres ne veut rien dire.
Vérifier sur nos données
Les deux calculs coïncident
\mathbf{R} donne \lambda_1 = 4{,}535 et le vecteur propre \mathbf{u}_1.
La transition \mathbf{F}_1 = \mathbf{Z}\mathbf{u}_1 place les 300 clients. On vérifie alors
\frac{1}{300}\sum_{i=1}^{300} F_{i1}^2 = 4{,}535 = \lambda_1
La variance des coordonnées des individus est la valeur propre issue des variables. Les deux nuages sont bien deux faces d’un seul objet.
r(\text{prix},\ \mathbf{F}_1) = 0{,}629 = G_{\text{prix},1}
La corrélation calculée directement entre la variable brute et la composante retombe sur la coordonnée lue dans le cercle — à la quatrième décimale.
Le petit tableau, des deux côtés
Côté variables : \mathbf{R} est 2\times 2, valeurs propres 1{,}6 et 0{,}4.
Côté individus : \mathbf{W}=\tfrac14\mathbf{Z}\mathbf{Z}' est 4\times 4. Elle a quatre valeurs propres, mais seules deux sont non nulles — et ce sont 1{,}6 et 0{,}4.
Le rang de \mathbf{Z} vaut 2 : quatre points de \mathbb{R}^2 ne peuvent engendrer qu’un plan.
En règle générale, le nombre de valeurs propres non nulles vaut \min(n-1,\ p) — le -1 venant du centrage, qui consomme une dimension.
Ce qu’il faut retenir
Le résumé du chapitre
- Un tableau définit deux nuages : les individus dans \mathbb{R}^p, les variables dans \mathbb{R}^n.
- \mathbf{R} et \mathbf{W} ont les mêmes valeurs propres non nulles — c’est la dualité.
- On diagonalise la plus petite des deux, puis on déduit l’autre.
- Les relations de transition font passer d’un nuage à l’autre, au facteur 1/\sqrt{\lambda_k} près.
- La coordonnée d’une variable est sa corrélation avec la composante : d’où le cercle.
- Sur un biplot d’ACP, on ne lit pas une distance individu–variable : seulement une direction commune.
Les axes existent, en nombre égal au rang du tableau. Reste la question qu’aucun théorème ne tranche : combien en garder ? C’est l’objet du chapitre 6.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)