Chapitre 4 — La rétropropagation

Calculatrice interactive — Apprentissage profond

1. Passe avant / passe arrière sur un réseau à deux poids

Activations sigmoïdes aux deux couches ; perte quadratique $L=\frac{1}{2}(y-\hat y)^2$.

Entrée $x$

Poids caché $w_1$

Poids sortie $w_2$

Cible $y$

2. Produit de facteurs le long d'une chaîne

Facteurs locaux successifs, séparés par des virgules.

Rappels : $\delta^{(\ell)}=\left(W^{(\ell+1)}\right)^{\!\mathsf T}\delta^{(\ell+1)}\odot g'(z^{(\ell)})$ ; pour une sortie sigmoïde et une perte d'entropie croisée, $\partial L/\partial z=\hat y-y$ directement ; le produit des facteurs le long d'une chaîne de $n$ couches détermine l'évanouissement ($\to0$) ou l'explosion ($\to\infty$) du gradient.