Introduction — Du modèle linéaire au neurone

Calculatrice interactive — Apprentissage profond

1. Sortie d'un neurone à deux entrées

$w_1$

$w_2$

$b$

$x_1$

$x_2$

activation

2. Tester la séparabilité d'une frontière sur le OU exclusif

$w_1$

$w_2$

$b$

3. Coût en paramètres : large ou profond

variables d'entrée $p$

largeur (réseau large, 1 couche)

largeurs du réseau profond (séparées par des virgules)

Rappels : $z=\sum_j w_jx_j+b$, $a=g(z)$ ; un neurone unique ne sépare que linéairement, le OU exclusif lui échappe ; paramètres d'une couche $=(\text{entrées}+1)\times\text{sorties}$, la profondeur est souvent plus économe que la largeur.