Chapitre 4 — Sélection de variables et grande dimension

Calculatrice interactive — Apprentissage statistique

1. Coût d'une sélection exhaustive et pas à pas

Nombre de variables $p$

2. Comparer AIC et BIC de deux modèles

$n$

SCR modèle A

$k$ modèle A

SCR modèle B

$k$ modèle B

3. Reconnaître un régime de grande dimension

$n$ (observations)

$p$ (variables)

variables retenues

Rappels : sélection exhaustive $=2^p$ modèles, ascendante/descendante $\approx p^2/2$ ; $\text{AIC}=n\ln(\text{SCR}/n)+2k$, $\text{BIC}=n\ln(\text{SCR}/n)+k\ln(n)$, le plus faible étant préféré ; le régime $p>n$ rend l'ajustement parfait automatique et sans valeur informative.