Chapitre 6 — Initialisation et normalisation

Calculatrice interactive — Apprentissage profond

1. Xavier vs He

$n_{\text{entrée}}$

$n_{\text{sortie}}$

2. Standardisation, avec ou sans fuite

Valeurs d'apprentissage, séparées par des virgules.

Valeurs de test (optionnel, pour illustrer la fuite) Observation à standardiser

3. Normalisation par lot

Activations du lot (séparées par des virgules)

$\gamma$

$\beta$

Rappels : variance Xavier $=2/(n_{\text{entrée}}+n_{\text{sortie}})$, variance He $=2/n_{\text{entrée}}$ ; les statistiques de standardisation se calculent sur l'apprentissage seul ; normalisation par lot $=(x-\text{moyenne})/\text{écart-type}$, puis remise à l'échelle $\gamma\times(\cdot)+\beta$.