Chapitre 6 — Évaluer un classifieur : matrice de confusion, ROC, AUC

Calculatrice interactive — Apprentissage statistique

1. Matrice de confusion : toutes les mesures

Vrais positifs

Faux négatifs

Faux positifs

Vrais négatifs

2. Situer un point sur la courbe ROC

Rappel (TPR)

Spécificité

3. Approcher l'AUC par la méthode des trapèzes

Une paire "FPR TPR" par ligne, dans l'ordre croissant de FPR, en commençant par (0,0) et terminant par (1,1).

Rappels : exactitude $=(VP+VN)/n$, précision $=VP/(VP+FP)$, rappel $=VP/(VP+FN)$, spécificité $=VN/(VN+FP)$, $F_1=2\times\text{précision}\times\text{rappel}/(\text{précision}+\text{rappel})$ ; un point ROC au-dessus de la diagonale bat le hasard, en dessous il vaut mieux inverser les prédictions ; AUC $\approx0{,}5$ aléatoire, $0{,}7$–$0{,}8$ acceptable, $>0{,}95$ suspect (chercher une fuite de données).