Apprentissage profond
Initialisation et normalisation
- Présentation du cours
- Du modèle linéaire au neurone
- Le perceptron multicouche
- Fonctions de perte et d'activation
- La descente de gradient et ses variantes
- La rétropropagation
- Régularisation : décrochage, pénalisation, arrêt précoce
- Initialisation et normalisation
- Les réseaux convolutifs
- Les réseaux récurrents : RNN, LSTM, GRU
- L'attention et les transformeurs
- Prévision de séries financières par réseaux
- Ce que l'apprentissage profond ne résout pas
Apprentissage profond
Chapitre 6 : Initialisation et normalisation
L’initialisation
Deux façons de rendre l’entraînement impossible
Si tous les poids d’une couche valent zéro, tous les neurones calculent la même chose, reçoivent le même gradient, et sont mis à jour identiquement.
Ils resteront indistinguables pour toujours. La couche entière se comporte comme un neurone unique.
Il faut donc briser la symétrie par un tirage aléatoire. Mais l’échelle de ce tirage n’est pas indifférente.
Le chapitre 4 l’a établi : remonter L couches multiplie L facteurs.
Des poids initiaux trop grands font croître les activations couche après couche : saturation des activations, gradients qui explosent.
Des poids trop petits font décroître le signal : les couches profondes ne reçoivent presque rien.
Il faut donc une échelle telle que la variance du signal se conserve d’une couche à l’autre.
Les deux initialisations usuelles
| Nom | Variance des poids | Pour |
|---|---|---|
| Xavier (Glorot) | \dfrac{2}{n_{\text{entrée}} + n_{\text{sortie}}} | sigmoïde, tangente hyperbolique |
| He | \dfrac{2}{n_{\text{entrée}}} | ReLU et variantes |
ReLU annule la moitié des sorties en moyenne. Elle divise donc la variance transmise par deux.
L’initialisation de He compense exactement cette perte, en doublant la variance des poids. C’est un ajustement calculé, non un réglage empirique.
Ce qu’il faut faire en pratique
Toutes les bibliothèques appliquent aujourd’hui une initialisation raisonnable par défaut, généralement adaptée à l’activation choisie.
Il est rare d’avoir à y toucher. Il faut en revanche savoir qu’un réseau qui n’apprend pas dès la première époque, ou dont la perte devient indéfinie, a souvent un problème de ce côté — ou de taux d’apprentissage.
La normalisation des entrées
Une étape préalable non négociable
Chaque variable d’entrée est ramenée à une moyenne nulle et un écart-type unitaire.
Avec des variables d’échelles très différentes — un revenu en dizaines de milliers, un ratio entre zéro et un — la surface de la perte devient très allongée.
La descente de gradient y zigzague : le taux qui convient à une direction est trop grand ou trop petit pour l’autre. Normaliser rend la surface plus sphérique, et la descente directe.
C’est la même exigence qu’au chapitre 3 d’Apprentissage statistique pour ridge, et qu’au chapitre 10 pour les SVM.
Moyennes et écarts-types doivent être calculés sur l’ensemble d’apprentissage seulement, puis appliqués tels quels à la validation et au test.
Les calculer sur toutes les données est une fuite — exactement le cas cité à l’introduction d’Apprentissage statistique. Elle est discrète, fréquente, et fausse toute l’évaluation.
La normalisation par lot
Normaliser aussi à l’intérieur du réseau
Normaliser les activations à chaque couche, sur les observations du lot courant, puis les remettre à l’échelle par deux paramètres appris.
- Entraînement plus rapide — on peut employer un taux d’apprentissage plus élevé.
- Moins de sensibilité à l’initialisation.
- Un effet régularisant léger, dû au bruit du lot.
- Elle atténue l’évanouissement du gradient.
En entraînement, la normalisation utilise les statistiques du lot courant.
En inférence, elle utilise des moyennes accumulées pendant l’entraînement — sinon la prédiction dépendrait des autres observations du lot, ce qui n’aurait aucun sens.
Oublier de basculer le modèle en mode évaluation est une erreur classique, et elle produit des prédictions incohérentes d’un appel à l’autre.
| Méthode | Normalise sur | Usage |
|---|---|---|
| Batch norm | le lot | vision |
| Layer norm | les neurones d’une observation | transformeurs, séquences |
La normalisation par couche ne dépend pas de la taille du lot : c’est pourquoi elle s’impose sur les données séquentielles des chapitres 8 et 9.
Ce qu’il faut retenir
Le résumé du chapitre
- Initialiser à zéro rend tous les neurones identiques : il faut briser la symétrie.
- L’échelle doit conserver la variance du signal d’une couche à l’autre.
- He pour ReLU — variance doublée pour compenser les sorties annulées ; Xavier pour les activations bornées.
- Normaliser les entrées est indispensable ; les statistiques se calculent sur l’apprentissage seulement.
- La normalisation par lot accélère l’entraînement ; layer norm pour les séquences.
Tout le nécessaire est en place pour entraîner un réseau entièrement connecté. Les trois chapitres suivants introduisent des architectures spécialisées, en commençant par celle qui traite les images.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)