Apprentissage statistique
Le boosting de gradient
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Chapitre 9 : Le boosting de gradient
Apprendre de ses erreurs
Le renversement par rapport au chapitre 8
| Bagging / forêt | Boosting | |
|---|---|---|
| Construction | en parallèle | en séquence |
| Chaque modèle | ignore les autres | corrige le précédent |
| Modèles de base | arbres profonds | arbres très courts |
| Cible principale | la variance | le biais |
- Partir d’une prédiction constante.
- Calculer les résidus — ce que le modèle actuel se trompe.
- Ajuster un petit arbre sur ces résidus.
- L’ajouter au modèle, avec un poids faible.
- Recommencer.
Pourquoi cela s’appelle boosting de gradient
Ajuster un arbre sur les résidus revient à faire un pas dans la direction qui réduit le plus la perte : c’est une descente de gradient, où chaque pas est un petit arbre.
Le cours Apprentissage profond reprendra exactement cette idée, avec des neurones à la place des arbres.
Les trois réglages
Ils interagissent, et c’est le point délicat
| Paramètre | Rôle | Valeur usuelle |
|---|---|---|
| Taux d’apprentissage \eta | poids de chaque arbre | 0{,}01 à 0{,}1 |
| Nombre d’arbres B | longueur de la séquence | des centaines à des milliers |
| Profondeur | complexité de chaque arbre | 3 à 8 |
\eta et B sont liés : diviser \eta par deux exige de doubler B pour parcourir la même distance.
Un \eta faible avec un B élevé donne presque toujours de meilleurs résultats — chaque pas est prudent, et l’ensemble converge mieux. Le prix est le temps de calcul.
On fixe donc \eta petit, et on choisit B par arrêt précoce.
L’arrêt précoce
Surveiller l’erreur sur un ensemble de validation à chaque itération, et s’arrêter quand elle cesse de baisser.
C’est indispensable, car contrairement à la forêt, le boosting sur-ajuste si on le laisse continuer.
La différence la plus importante à retenir
| Augmenter le nombre d’arbres | |
|---|---|
| Forêt aléatoire | l’erreur se stabilise — aucun risque |
| Boosting | l’erreur baisse, puis remonte — sur-ajustement |
C’est ce qui rend le boosting plus performant et plus dangereux. La forêt pardonne les réglages approximatifs ; le boosting non.
Les implémentations modernes
Ce qu’elles ajoutent
XGBoost — régularisation explicite sur la structure des arbres, gestion native des valeurs manquantes.
LightGBM — croissance par feuille plutôt que par niveau, très rapide sur gros volumes.
CatBoost — traitement soigné des variables qualitatives à nombreuses modalités.
- Pénalités L_1 et L_2 sur les valeurs des feuilles — le chapitre 3, transposé.
- Sous-échantillonnage des lignes et des colonnes à chaque arbre — le chapitre 8, transposé.
- Nombre minimal d’observations par feuille.
Sur des tableaux structurés — clients, transactions, dossiers de crédit — le boosting de gradient bat régulièrement les réseaux de neurones, et de loin.
Les raisons tenues pour principales : il gère nativement les variables hétérogènes et de natures mélangées, il ne demande aucune normalisation, et il capte les interactions sans architecture à concevoir.
Le cours suivant, sur l’apprentissage profond, le reconnaîtra explicitement. L’apprentissage profond règne sur l’image, le texte et le son ; sur le tabulaire, c’est ce chapitre-ci qui reste la référence.
Ce que l’on perd
Le prix de la performance
- Aucune interprétabilité directe — mille arbres ne se lisent pas.
- Réglage exigeant — plusieurs paramètres qui interagissent.
- Risque de sur-ajustement réel, contrairement à la forêt.
| Chapitre | Modèle | Interprétabilité | Performance |
|---|---|---|---|
| 4 | Régression pénalisée | élevée | modérée |
| 8 | Arbre unique | excellente | faible |
| 9 | Forêt aléatoire | faible | élevée |
| 10 | Boosting | très faible | très élevée |
Le cours a systématiquement échangé de la lisibilité contre de la précision. Le chapitre 11 tentera d’en récupérer une part.
En crédit, une décision de refus doit souvent être motivée auprès du client et du régulateur.
Un modèle non explicable peut alors être inutilisable, quelle que soit sa performance. C’est une contrainte réglementaire, non technique — et elle explique la persistance des scores logistiques dans le secteur bancaire.
Ce qu’il faut retenir
Le résumé du chapitre
- Le boosting construit les arbres en séquence, chacun ajusté sur les résidus du précédent.
- Il attaque le biais, là où la forêt attaquait la variance ; ses arbres sont courts.
- \eta faible et B élevé donnent les meilleurs résultats ; les deux sont liés.
- Contrairement à la forêt, il sur-ajuste : l’arrêt précoce est indispensable.
- Sur données tabulaires, il reste la référence — devant les réseaux de neurones.
Le chapitre 10 présente la dernière famille du cours, issue d’une intuition géométrique entièrement différente : les machines à vecteurs de support.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)