Apprentissage statistique
La classification : logistique et analyse discriminante
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Chapitre 5 : La classification : logistique et analyse discriminante
Régression linéaire, limites
Deux objections
La cible est qualitative : défaut ou non. On code Y = 1 pour le défaut, Y = 0 sinon.
Régresser directement Y sur X par les MCO pose deux difficultés.
- Les prédictions sortent de l’intervalle [0,1] : on obtient des « probabilités » négatives ou supérieures à un.
- Avec plus de deux catégories non ordonnées, le codage numérique impose un ordre arbitraire qui n’existe pas.
Une fonction qui prenne n’importe quelle combinaison linéaire de X et la ramène dans [0,1].
C’est exactement ce que fait la fonction logistique.
La régression logistique
Le modèle
p(X) = \frac{e^{\beta_0 + \beta_1 X}}{1 + e^{\beta_0 + \beta_1 X}}
Elle vaut toujours entre 0 et 1, quelle que soit la valeur de \beta_0 + \beta_1 X.
En isolant, on obtient la cote puis son logarithme :
\frac{p(X)}{1 - p(X)} = e^{\beta_0 + \beta_1 X} \qquad\Longrightarrow\qquad \ln\!\left(\frac{p(X)}{1-p(X)}\right) = \beta_0 + \beta_1 X
Le logarithme de la cote est linéaire en X. C’est ce qui rend le modèle maniable.
\beta_1 n’est pas l’effet sur la probabilité, qui dépend du point où l’on se place.
e^{\beta_1} est le facteur par lequel la cote est multipliée quand X augmente d’une unité.
Un coefficient de 0{,}7 sur le ratio d’endettement donne e^{0{,}7} \approx 2{,}01.
Une unité d’endettement supplémentaire double approximativement la cote du défaut — non sa probabilité.
Les coefficients s’estiment par maximum de vraisemblance, méthode introduite au chapitre 7 de Statistique inférentielle.
Il n’y a pas de formule fermée : la solution s’obtient numériquement. C’est le premier modèle du cours qui ne se résout pas d’un calcul direct.
L’analyse discriminante
Une approche par les distributions
La logistique modélise directement P(Y \mid X).
L’analyse discriminante modélise la distribution de X dans chaque classe, puis retourne le raisonnement par le théorème de Bayes : P(Y = k \mid X) \;\propto\; \pi_k \, f_k(X)
où \pi_k est la proportion de la classe k et f_k la densité de X dans cette classe.
La structure est identique à celle du test médical : on connaît la probabilité du symptôme sachant la maladie, on veut celle de la maladie sachant le symptôme.
Ici, on connaît la distribution des revenus chez les défaillants, on veut la probabilité de défaut sachant le revenu.
| Hypothèse sur les covariances | Frontière | |
|---|---|---|
| ADL | identiques entre classes | linéaire |
| ADQ | propres à chaque classe | quadratique |
L’ADQ est plus flexible et exige beaucoup plus de données : c’est encore le compromis biais-variance.
La logistique fait moins d’hypothèses et résiste mieux aux distributions non normales. C’est le choix par défaut.
L’analyse discriminante est plus efficace quand les classes sont bien séparées — cas où la logistique devient instable — et quand X est effectivement à peu près normal.
Le seuil de décision
Une probabilité n’est pas une décision
Le modèle produit une probabilité. La décision exige un seuil au-delà duquel on classe en défaut.
Le seuil de 0{,}5 est un choix par défaut, presque toujours mauvais.
Sur notre portefeuille, les défauts représentent 10\,\% des dossiers. Peu de clients atteindront une probabilité supérieure à 0{,}5 : le modèle classera presque tout le monde en « bon ».
Il faut donc abaisser le seuil si l’on veut détecter des défauts.
Le seuil est une décision de gestion, pas de statistique
Le bon seuil dépend du coût des deux erreurs :
- refuser un bon client coûte une marge perdue ;
- accorder un crédit à un futur défaillant coûte le capital.
Le second coût dépasse largement le premier dans la plupart des portefeuilles. Le seuil optimal est donc bien inférieur à 0{,}5.
Aucune méthode statistique ne fixe ce seuil : il vient de l’économie du problème. Le chapitre 6 donne les outils pour le choisir en connaissance de cause.
Ce qu’il faut retenir
Le résumé du chapitre
- La régression linéaire donne des probabilités hors de [0,1] : elle ne convient pas.
- La logistique modélise \ln(p/(1-p)) comme une fonction linéaire de X.
- e^{\beta} est un facteur multiplicatif sur la cote, non sur la probabilité.
- L’analyse discriminante passe par les distributions de X et le théorème de Bayes.
- Le seuil de décision est un choix économique, pas statistique — et 0{,}5 est rarement le bon.
Il faut maintenant savoir mesurer la qualité d’un classifieur — et le chapitre 6 montrera que la mesure la plus naturelle est aussi la plus trompeuse.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)