Chapitre 2 — Fonctions de perte et d'activation

Calculatrice interactive — Apprentissage profond

1. Entropie croisée

Une ligne par observation, au format "y,p_hat". Ex. "1,0.9".

2. Sigmoïde, dérivée et atténuation du gradient

Valeur de $z$

Profondeur (nombre de couches)

3. EQM vs EAM face à une valeur extrême

Erreurs de prévision (séparées par des virgules)

Rappels : entropie croisée $=-\frac{1}{n}\sum\left[y_i\ln\hat p_i+(1-y_i)\ln(1-\hat p_i)\right]$ ; $\sigma'(z)=\sigma(z)(1-\sigma(z))$, maximale ($0{,}25$) en $z=0$ ; facteur d'atténuation au mieux après $n$ couches sigmoïdes $=0{,}25^n$, contre $1^n=1$ pour ReLU ; l'EQM amplifie les grands écarts (carré), l'EAM les traite proportionnellement (valeur absolue).