Chapitre 3 — La descente de gradient et ses variantes

Calculatrice interactive — Apprentissage profond

1. Trajectoire de descente sur $L(w)=aw^2$

Courbure $a$

Point de départ $w_0$

Taux d'apprentissage $\eta$

Nombre d'itérations

2. Mises à jour par époque

Nombre d'observations

Taille du lot (mini-batch)

Rappels : sur $L(w)=aw^2$, la mise à jour donne $w\leftarrow w(1-2a\eta)$ ; convergence si et seulement si $\lvert1-2a\eta\rvert<1$, soit $0<\eta<1/a$ ; nombre de mises à jour par époque $\approx$ nombre d'observations $/$ taille du lot.