Chapitre 8 — Les réseaux récurrents

Calculatrice interactive — Apprentissage profond

1. Dérouler un RNN scalaire

$W_h$

$W_x$

Biais $b$

$h_0$

Séquence $x$ (séparée par des virgules)

2. Atténuation cumulée sur $T$ pas

Facteur local au mieux

Nombre de pas $T$

3. Les trois portes d'un LSTM

$z_f$ (oubli)

$z_i$ (entrée)

$z_g$ (candidat)

$z_o$ (sortie)

$C_{t-1}$

Rappels : RNN $h_t=\tanh(W_hh_{t-1}+W_xx_t+b)$ ; atténuation cumulée après $T$ pas $=\text{facteur}^T$ ; LSTM : $f_t=\sigma(z_f)$, $i_t=\sigma(z_i)$, $g_t=\tanh(z_g)$, $o_t=\sigma(z_o)$, $C_t=f_t C_{t-1}+i_tg_t$, $h_t=o_t\tanh(C_t)$.