Chapitre 1 — Le compromis biais-variance

Calculatrice interactive — Apprentissage statistique

1. Calculer l'EQM décomposée

biais$^2$

variance

bruit $\sigma^2$

2. Trouver la complexité optimale

Une ligne par niveau : "complexité biais² variance". Le bruit s'ajoute à chaque ligne.

bruit $\sigma^2$ (commun)

3. Malédiction de la dimension

fraction de volume $p$

dimension $d$

Rappels : $\text{EQM}=\text{biais}^2+\text{variance}+\sigma^2$ ; la flexibilité réduit le biais et augmente la variance, d'où un optimum intérieur ; le côté nécessaire pour couvrir une fraction $p$ du volume en dimension $d$ vaut $p^{1/d}$, et tend vers $1$ quand $d$ augmente.