Analyse des données avancée
L’inertie, formalisée
- Présentation du cours
- Reprendre l'analyse des données par l'algèbre
- Le tableau, les poids et la métrique
- L'inertie, formalisée
- Diagonalisation et décomposition en valeurs singulières
- L'ACP en écriture matricielle
- Dualité et relations de transition
- Combien d'axes retenir
- Contributions, cosinus carrés et éléments supplémentaires
- L'AFC et la métrique du khi-deux
- Profils, barycentres et lecture conjointe
- L'analyse des correspondances multiples
- Distances et dissimilarités
- La classification ascendante hiérarchique
- Les k-means et la consolidation
- Décrire et nommer les segments
- L'analyse factorielle discriminante
- Classer un nouveau client
- Le positionnement multidimensionnel
- Étude de cas
- Mise en œuvre sur R et Python
Analyse des données avancée
Chapitre 2 : L’inertie, formalisée
La définition générale
L’inertie d’un nuage
I = \sum_{i=1}^{n} p_i \, d^2_{\mathbf{M}}(\mathbf{x}_i, \mathbf{g}) = \sum_{i=1}^{n} p_i \,(\mathbf{x}_i-\mathbf{g})'\mathbf{M}(\mathbf{x}_i-\mathbf{g})
C’est la moyenne pondérée des carrés des distances au centre de gravité.
En physique, le moment d’inertie mesure la résistance d’un solide à la rotation : il est grand quand la masse est loin de l’axe.
Ici, l’inertie est grande quand les individus sont loin de la moyenne, c’est-à-dire quand ils se ressemblent peu. Un nuage d’inertie nulle est un nuage où tout le monde est identique — et il n’y a rien à analyser.
Le nuage et son centre
La même définition, sur le nuage
L’inertie est une trace
I = \operatorname{trace}(\mathbf{V}\mathbf{M}), \qquad \mathbf{V} = \mathbf{X}'\mathbf{D}\mathbf{X}
où \mathbf{X} est centré et \mathbf{V} est la matrice de variance-covariance.
Chaque terme \mathbf{x}_i'\mathbf{M}\mathbf{x}_i est un scalaire, donc égal à sa propre trace. Or \operatorname{trace}(\mathbf{A}\mathbf{B}) = \operatorname{trace}(\mathbf{B}\mathbf{A}) :
\mathbf{x}_i'\mathbf{M}\mathbf{x}_i = \operatorname{trace}(\mathbf{x}_i'\mathbf{M}\mathbf{x}_i) = \operatorname{trace}(\mathbf{M}\mathbf{x}_i\mathbf{x}_i')
En sommant avec les poids : I = \operatorname{trace}\!\left(\mathbf{M}\sum_i p_i \mathbf{x}_i\mathbf{x}_i'\right) = \operatorname{trace}(\mathbf{M}\mathbf{V}) = \operatorname{trace}(\mathbf{V}\mathbf{M}).
Ce que cette formule apporte
En ACP non normée avec \mathbf{M}=\mathbf{I} : I = \operatorname{trace}(\mathbf{V}) = \sum_{j=1}^{p} s_j^2
En ACP normée avec \mathbf{M}=\mathbf{D}_{1/s^2} : I = \operatorname{trace}(\mathbf{R}) = p
Huit variables réduites, donc I = 8 exactement. On le vérifie sur le tableau : la somme des huit valeurs propres vaut
4{,}535 + 1{,}645 + 0{,}382 + 0{,}349 + 0{,}327 + 0{,}283 + 0{,}249 + 0{,}229 = 8{,}000
L’inertie sur le petit tableau
Le calcul complet
\mathbf{X}=\begin{pmatrix}-2 & -2\\ -1 & 1\\ 1 & -1\\ 2 & 2\end{pmatrix}, \qquad \mathbf{X}'\mathbf{X}=\begin{pmatrix}10 & 6\\ 6 & 10\end{pmatrix}
Avec p_i = 1/4 : \mathbf{V}=\tfrac{1}{4}\mathbf{X}'\mathbf{X}=\begin{pmatrix}2{,}5 & 1{,}5\\ 1{,}5 & 2{,}5\end{pmatrix}
Par la trace : I = 2{,}5 + 2{,}5 = 5.
Par les distances : \tfrac{1}{4}\big[(4{+}4) + (1{+}1) + (1{+}1) + (4{+}4)\big] = \tfrac{20}{4} = 5.
Les deux coïncident, comme la démonstration l’annonçait.
Et si l’on norme
Les deux variances valent 2{,}5, donc \mathbf{M} = \operatorname{diag}(0{,}4\ ;\ 0{,}4) et
I = \operatorname{trace}(\mathbf{V}\mathbf{M}) = 1 + 1 = 2 = p
Le même nuage porte une inertie de 5 ou de 2 selon la métrique. Le nombre n’a donc de sens que rapporté au total : c’est pourquoi on ne lit jamais une valeur propre, mais un pourcentage d’inertie.
Projeter, c’est décomposer
Le théorème de Pythagore, appliqué au nuage
L’égalité qui fonde toute la suite
Pour un sous-espace E et son orthogonal : \underbrace{I}_{\text{totale}} = \underbrace{I_E}_{\text{conservée}} + \underbrace{I_{E^\perp}}_{\text{perdue}}
I ne dépend pas du sous-espace choisi : c’est une propriété du nuage.
Donc maximiser l’inertie projetée revient exactement à minimiser l’inertie perdue. Chercher le meilleur résumé ou chercher la plus petite déformation sont le même problème — et c’est pourquoi l’analyse des données n’a qu’un seul critère.
Le photographe qui cherche le meilleur angle maximise l’inertie projetée. La silhouette de profil conserve la longueur du corps, celle de face la perd tout entière.
Ce que la Licence disait en images, la formule le dit en un signe d’égalité.
Le programme du chapitre 4
Trouver l’axe \mathbf{u}, normé au sens de \mathbf{M}, qui maximise l’inertie projetée :
\max_{\mathbf{u}} \ \mathbf{u}'\mathbf{M}\mathbf{V}\mathbf{M}\mathbf{u} \qquad \text{sous} \qquad \mathbf{u}'\mathbf{M}\mathbf{u}=1
Un problème de maximisation sous contrainte quadratique se résout par les multiplicateurs de Lagrange, et sa solution s’écrit avec des vecteurs propres.
Le chapitre 3 rappelle donc la diagonalisation et introduit la décomposition en valeurs singulières — l’outil qui, seul, explique pourquoi individus et variables donnent les mêmes valeurs propres.
Ce qu’il faut retenir
Le résumé du chapitre
- L’inertie est la moyenne pondérée des carrés des distances au centre : elle mesure la dispersion du nuage.
- Elle s’écrit I = \operatorname{trace}(\mathbf{V}\mathbf{M}), et vaut p en ACP normée.
- Sur nos données : I = 8, et la somme des valeurs propres le confirme.
- Projeter décompose l’inertie en conservée et perdue, dont la somme est constante.
- Maximiser ce qu’on garde, c’est minimiser ce qu’on perd : les deux formulations du problème n’en font qu’une.
Le problème est posé. Le chapitre 3 fournit l’outil qui le résout — et le résout une fois pour toutes les méthodes du cours.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)