Apprentissage statistique
Évaluer un classifieur : matrice de confusion, ROC, AUC
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Chapitre 6 : Évaluer un classifieur : matrice de confusion, ROC, AUC
La matrice de confusion
Quatre nombres
| Réel : défaut | Réel : bon | |
|---|---|---|
| Prévu : défaut | vrais positifs VP | faux positifs FP |
| Prévu : bon | faux négatifs FN | vrais négatifs VN |
| Réel : défaut | Réel : bon | Total | |
|---|---|---|---|
| Prévu : défaut | 60 | 90 | 150 |
| Prévu : bon | 40 | 810 | 850 |
| Total | 100 | 900 | 1\,000 |
\text{exactitude} = \frac{VP + VN}{n} = \frac{870}{1\,000} = 0{,}87
\text{précision} = \frac{VP}{VP + FP} = \frac{60}{150} = 0{,}40
\text{rappel} = \frac{VP}{VP + FN} = \frac{60}{100} = 0{,}60
\text{spécificité} = \frac{VN}{VN + FP} = \frac{810}{900} = 0{,}90
Le piège de l’exactitude
Le classifieur qui ne fait rien
Considérons un modèle qui prédit « bon » pour tout le monde, sans regarder aucune variable.
\text{exactitude} = \frac{900}{1\,000} = 0{,}90
Il fait mieux que notre modèle — 0{,}90 contre 0{,}87 — tout en étant strictement inutile : son rappel est nul, il ne détecte aucun défaut.
Avec des classes déséquilibrées, l’exactitude est dominée par la classe majoritaire. Elle récompense l’inaction.
Une exactitude élevée n’établit rien tant qu’on ne l’a pas comparée à celle du classifieur trivial. C’est le premier réflexe à acquérir, et l’erreur la plus répandue chez les débutants.
Précision et rappel s’opposent
Abaisser le seuil augmente le rappel — on détecte plus de défauts — et dégrade la précision — on se trompe plus souvent en accusant.
Le F1 les combine par leur moyenne harmonique : F_1 = 2 \times \frac{\text{précision} \times \text{rappel}}{\text{précision} + \text{rappel}} = 2 \times \frac{0{,}40 \times 0{,}60}{1{,}00} = 0{,}48
Lequel privilégier dépend du coût des erreurs
| Contexte | Priorité |
|---|---|
| Dépistage d’une maladie grave | le rappel — ne rien manquer |
| Filtre anti-spam | la précision — ne pas bloquer un message légitime |
| Octroi de crédit | selon le coût relatif du défaut et de la marge perdue |
Aucune mesure unique ne convient à tous les problèmes. Le choix se fait sur l’économie du cas.
La courbe ROC
Balayer tous les seuils
La courbe ROC trace, pour tous les seuils possibles, le taux de vrais positifs — le rappel — contre le taux de faux positifs, soit 1 - spécificité.
Sur notre modèle et à ce seuil, le point vaut (0{,}10 \,;\, 0{,}60).
| Position | Signification |
|---|---|
| Coin supérieur gauche | classifieur parfait |
| Diagonale | classifieur aléatoire |
| Sous la diagonale | pire que le hasard — inverser les prédictions |
L’aire sous la courbe
L’AUC est l’aire sous la courbe ROC.
| AUC | Lecture |
|---|---|
| 0{,}5 | aléatoire |
| 0{,}7 à 0{,}8 | acceptable |
| > 0{,}9 | excellent — ou suspect |
Ce que l’AUC signifie exactement
L’AUC est la probabilité que le modèle attribue un score plus élevé à un défaillant tiré au hasard qu’à un bon client tiré au hasard.
Cette interprétation est précieuse : elle ne dépend d’aucun seuil, et elle est insensible au déséquilibre des classes. C’est ce qui en fait la mesure de référence pour comparer des modèles.
Une AUC trop belle est un signal d’alarme
Une AUC supérieure à 0{,}95 sur un problème de crédit doit déclencher une vérification, non une célébration.
Les causes habituelles sont la fuite de données de l’introduction — une variable qui contient l’information à prévoir, comme le nombre de relances ou la date de clôture du dossier.
Le premier réflexe devant un résultat excellent est de chercher la fuite.
Ce qu’il faut retenir
Le résumé du chapitre
- La matrice de confusion résume tout : ici 60, 40, 90, 810.
- L’exactitude de 0{,}87 est battue par le classifieur trivial à 0{,}90 — elle ne prouve rien seule.
- Précision et rappel s’opposent ; le seuil arbitre entre eux ; F_1 = 0{,}48 les combine.
- La courbe ROC balaie tous les seuils ; ici le point (0{,}10 \,;\, 0{,}60).
- L’AUC est la probabilité de bien ordonner deux dossiers ; une valeur trop élevée signale une fuite.
Nous savons construire et évaluer des modèles linéaires. Les cinq chapitres suivants abandonnent la linéarité, en commençant par l’arbre de décision.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)