Chapitre 9 — Le boosting de gradient

Calculatrice interactive — Apprentissage statistique

1. Lien entre $\eta$ et $B$ à distance constante

$\eta_0$ initial

$B_0$ initial

Nouveau $\eta_1$ (ou vide)

ou nouveau $B_1$ (ou vide)

2. Repérer le point d'arrêt précoce

Une paire "B erreur" par ligne.

3. Sous-échantillonnage des lignes et des colonnes

$n$ (observations)

$p$ (variables)

fraction de lignes

fraction de colonnes

Rappels : $\eta\times B$ reste approximativement constant pour une même « distance » parcourue ; le boosting sur-ajuste si l'on ne s'arrête pas au minimum de l'erreur de validation, contrairement à la forêt aléatoire ; le sous-échantillonnage transpose au boosting le bootstrap et le tirage de variables du chapitre 8.