Chapitre 1 — Le perceptron multicouche

Calculatrice interactive — Apprentissage profond

1. Compter les paramètres d'une architecture

Entrées, puis largeur de chaque couche (dont la sortie), séparées par des virgules. Ex. "20,32,16,1".

2. Calculer une sortie softmax

3. Rapport paramètres / observations

Rappels : paramètres d'une couche $e\to s$ $=e\times s+s$ ; softmax$(z)_k=e^{z_k}/\sum_j e^{z_j}$, somme toujours égale à $1$ ; un rapport paramètres/observations élevé (au-delà de $1$) signale un risque sérieux de mémorisation plutôt que de généralisation.