Chapitre 5 — Régularisation

Calculatrice interactive — Apprentissage profond

1. Pénalité de weight decay

Poids (séparés par des virgules)

$\lambda$

Perte de base $L$

2. Diagnostic de sur-ajustement et arrêt précoce

Une ligne par époque, au format "train,val". Patience en nombre d'époques.

Patience (nombre d'époques)

3. Décrochage : neurones actifs et mise à l'échelle

Largeur de la couche $h$

Taux de décrochage $p$

Sortie brute (inférence)

Rappels : pénalité de weight decay $=\lambda\sum_j w_j^2$, valeurs usuelles $\lambda\in[10^{-5},10^{-3}]$ ; arrêt précoce : conserver les poids du meilleur point de validation, arrêter après "patience" époques sans amélioration ; décrochage : neurones actifs espérés $=h(1-p)$, facteur de mise à l'échelle à l'inférence $=(1-p)$.