Apprentissage statistique
Les arbres de décision
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Chapitre 7 : Les arbres de décision
Un modèle qui découpe
Le principe
Un arbre découpe l’espace des variables en régions rectangulaires par une suite de questions binaires, et prédit dans chaque région la moyenne — ou la classe majoritaire — des observations qui s’y trouvent.
Endettement > 0,45 ?
├── oui → Ancienneté < 2 ans ?
│ ├── oui → défaut (risque 62 %)
│ └── non → bon (risque 18 %)
└── non → Incidents passés ≥ 1 ?
├── oui → défaut (risque 41 %)
└── non → bon (risque 3 %)Quatre règles, lisibles par un chargé de clientèle qui n’a jamais vu une équation.
Ce que l’arbre apporte de neuf
Il capte les non-linéarités et les interactions sans qu’on les spécifie.
L’effet de l’ancienneté n’y est pas le même selon le niveau d’endettement — c’est une interaction, que le modèle linéaire du chapitre 3 aurait fallu écrire à la main.
La construction
Un choix glouton, à chaque nœud
À chaque nœud, essayer toutes les variables et tous les seuils, retenir le découpage qui réduit le plus l’impureté, puis recommencer sur chaque branche.
| Cible | Critère |
|---|---|
| Quantitative | somme des carrés des écarts |
| Qualitative | indice de Gini ou entropie |
Une région pure ne contient qu’une classe : son impureté est nulle.
\text{Gini} = 1 - \sum_k p_k^2
| Nœud | Composition | Gini |
|---|---|---|
| Racine | 10\,\% défauts | 1 - (0{,}1^2 + 0{,}9^2) = 0{,}180 |
| Après découpage | 50\,\% défauts | 1 - (0{,}5^2 + 0{,}5^2) = 0{,}500 |
| Feuille pure | 0\,\% défauts | 0 |
Gini est maximal quand les classes sont équilibrées, nul quand la feuille est pure. On cherche donc à le faire baisser.
L’algorithme choisit le meilleur découpage immédiat, sans envisager qu’un découpage médiocre maintenant permettrait deux excellents découpages ensuite.
Trouver l’arbre optimal est un problème hors de portée du calcul. On se contente donc d’une solution localement bonne — et cela fonctionne étonnamment bien en pratique.
L’élagage
Un arbre complet est inutilisable
Rien n’empêche de découper jusqu’à ce que chaque feuille contienne une seule observation. L’erreur d’apprentissage est alors nulle, et l’erreur de test désastreuse.
C’est le sur-ajustement du chapitre 1, dans sa forme la plus pure.
On fait pousser un grand arbre, puis on le taille en pénalisant le nombre de feuilles :
\text{critère} = \text{erreur} \;+\; \alpha \times \text{nombre de feuilles}
\alpha se choisit par validation croisée — exactement comme \lambda au chapitre 3.
Pourquoi tailler après plutôt que s’arrêter tôt
S’arrêter dès qu’un découpage n’apporte rien serait myope, pour la raison déjà vue : un découpage sans intérêt immédiat peut ouvrir la voie à deux découpages excellents.
On laisse donc pousser, puis on taille — ce qui permet de juger chaque branche sur ce qu’elle a réellement produit.
Forces et faiblesses
Le bilan, honnêtement
- Interprétable — un schéma que n’importe qui lit.
- Aucun besoin de standardiser.
- Gère naturellement les variables qualitatives.
- Capte interactions et non-linéarités sans spécification.
- Robuste aux valeurs extrêmes.
La variance est très élevée. Changer quelques observations peut produire un arbre entièrement différent — d’autres variables, d’autres seuils, une autre structure.
Un modèle qui change de forme quand les données changent à peine n’inspire pas confiance, et prévoit mal.
Le compromis, en un tableau
| Biais | Variance | Interprétabilité | |
|---|---|---|---|
| Régression linéaire | élevé si non-linéarité | faible | bonne |
| Arbre unique | faible | très élevée | excellente |
L’arbre est donc rarement utilisé seul en prévision. Il est en revanche irremplaçable pour expliquer une décision à un client ou à un régulateur — ce que les chapitres 8 et 9 vont perdre.
Le pas décisif
Le chapitre 1 l’a établi : moyenner des modèles indépendants divise leur variance.
L’arbre a précisément beaucoup de variance et peu de biais — c’est le candidat idéal pour cette opération. Il suffit d’en construire beaucoup, sur des échantillons différents, et de les agréger.
Ce qu’il faut retenir
Le résumé du chapitre
- Un arbre découpe l’espace en régions rectangulaires par questions binaires.
- La construction est gloutonne : meilleur découpage immédiat, sans anticipation.
- On mesure l’impureté par Gini ou l’entropie ; Gini vaut 0{,}18 à la racine ici.
- Un arbre complet sur-ajuste ; on élague par coût-complexité, avec \alpha choisi par validation croisée.
- Interprétabilité excellente, variance très élevée — d’où la suite.
Le chapitre 8 exploite exactement cette faiblesse : beaucoup d’arbres instables, moyennés, donnent un modèle stable.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)