Apprentissage statistique
Forêts aléatoires et bagging
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Chapitre 8 : Forêts aléatoires et bagging
Moyenner pour stabiliser
Le résultat qui fonde le chapitre
Pour B variables indépendantes de variance \sigma^2, la moyenne a pour variance \frac{\sigma^2}{B}
Moyenner 100 modèles indépendants divise donc la variance par 100 — sans toucher au biais.
L’arbre du chapitre 7 avait peu de biais et beaucoup de variance.
Moyenner ne change pas le biais et écrase la variance : l’opération est taillée sur mesure pour lui. C’est la raison pour laquelle les méthodes d’ensemble reposent sur des arbres et non sur des régressions.
Le bagging — agrégation bootstrap — consiste à :
- tirer B échantillons bootstrap de l’échantillon d’origine ;
- construire un arbre profond, non élagué sur chacun ;
- moyenner les prédictions, ou voter à la majorité.
L’élagage servait à réduire la variance d’un arbre isolé. Ici, c’est la moyenne qui s’en charge.
On laisse donc chaque arbre pousser librement : biais minimal, variance élevée — que l’agrégation traitera. On n’a plus à régler ce compromis arbre par arbre.
La forêt aléatoire
Le défaut du bagging
La division par B suppose les modèles indépendants. Or les arbres du bagging ne le sont pas : ils voient presque les mêmes données.
Si une variable domine, tous les arbres la choisiront en premier, et se ressembleront. Moyenner des modèles corrélés ne réduit guère la variance.
À chaque nœud, ne considérer qu’un sous-ensemble aléatoire de m variables parmi p, tiré à nouveau à chaque fois.
Une variable dominante ne peut donc pas être choisie partout : les arbres sont forcés d’explorer d’autres découpages, et se décorrèlent.
| Tâche | Valeur courante |
|---|---|
| Classification | m \approx \sqrt{p} |
| Régression | m \approx p/3 |
Pour p = 20 variables en classification : m \approx 4.
m petit décorrèle davantage mais affaiblit chaque arbre. C’est le seul réglage vraiment sensible de la méthode.
Contrairement à presque tout le reste, augmenter B ne provoque jamais de sur-ajustement : l’erreur se stabilise et cesse de bouger.
On prend donc B aussi grand que le temps de calcul le permet — quelques centaines suffisent en général. Il n’y a pas de compromis à arbitrer sur ce paramètre.
Deux sous-produits utiles
L’erreur out-of-bag
Un échantillon bootstrap laisse de côté environ un tiers des observations. Chaque observation est donc « hors sac » pour environ un tiers des arbres.
On peut la prédire avec ces arbres-là seulement — qui ne l’ont jamais vue.
La probabilité qu’une observation ne soit jamais tirée en n tirages avec remise : \left(1 - \frac{1}{n}\right)^{n} \;\xrightarrow[n \to \infty]{}\; e^{-1} \approx 0{,}368
Environ 36{,}8\,\% des observations sont hors sac pour un arbre donné.
L’erreur out-of-bag estime l’erreur de test sans découpage supplémentaire ni calcul additionnel.
C’est un avantage pratique considérable sur les méthodes qui exigent une validation croisée explicite — même si celle-ci reste préférable pour comparer des familles de modèles différentes.
L’importance des variables
Par l’impureté — cumuler la réduction de Gini apportée par chaque variable sur tous les arbres. Rapide, mais biaisée en faveur des variables à nombreuses modalités.
Par permutation — mélanger au hasard une variable et mesurer la dégradation de l’erreur out-of-bag. Plus coûteuse, plus fiable.
Une variable peut être jugée importante parce qu’elle est corrélée à la vraie cause, ou parce qu’elle en est une conséquence.
De plus, entre deux variables très corrélées, la forêt répartit l’importance entre elles, ce qui fait paraître les deux modérément utiles alors que l’une suffirait.
L’importance mesure la contribution à la prévision, jamais un effet. C’est le même avertissement qu’au chapitre 3 sur le lasso, et il vaut pour tout ce cours.
Ce qu’il faut retenir
Le résumé du chapitre
- Moyenner B modèles indépendants divise la variance par B, sans toucher au biais.
- Le bagging agrège des arbres profonds construits sur échantillons bootstrap.
- La forêt aléatoire ajoute un tirage de m variables à chaque nœud, ce qui décorrèle les arbres.
- m \approx \sqrt{p} en classification ; augmenter B ne sur-ajuste jamais.
- L’erreur out-of-bag — sur les 36{,}8\,\% non tirés — donne une estimation gratuite de l’erreur de test.
Le bagging construit les arbres en parallèle, chacun ignorant les autres. Le chapitre 9 les construit en séquence, chacun corrigeant les erreurs du précédent.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)