Chapitre 3 — La régression pénalisée : ridge et lasso

Calculatrice interactive — Apprentissage statistique

1. Calculer les critères pénalisés

Somme des carrés des résidus

$\lambda$

Coefficients $\beta$ (séparés par des virgules)

2. Rétrécissement ridge uniforme

Coefficients MCO (séparés par des virgules) Facteur de rétrécissement (entre 0 et 1)

3. EQM d'un modèle régularisé

biais$^2$ après régularisation

variance après régularisation

bruit $\sigma^2$

Rappels : critère ridge $=\text{SCR}+\lambda\sum\beta_j^2$, critère lasso $=\text{SCR}+\lambda\sum\lvert\beta_j\rvert$ ; ridge rétrécit sans jamais annuler, lasso peut annuler exactement certains coefficients ; $\text{EQM}=\text{biais}^2+\text{variance}+\sigma^2$, et la régularisation déplace ce compromis sans changer la complexité du modèle.