Apprentissage profond
Régularisation : décrochage, pénalisation, arrêt précoce
- Présentation du cours
- Du modèle linéaire au neurone
- Le perceptron multicouche
- Fonctions de perte et d'activation
- La descente de gradient et ses variantes
- La rétropropagation
- Régularisation : décrochage, pénalisation, arrêt précoce
- Initialisation et normalisation
- Les réseaux convolutifs
- Les réseaux récurrents : RNN, LSTM, GRU
- L'attention et les transformeurs
- Prévision de séries financières par réseaux
- Ce que l'apprentissage profond ne résout pas
Apprentissage profond
Chapitre 5 : Régularisation : décrochage, pénalisation, arrêt précoce
Le problème des chiffres
Trop de paramètres pour trop peu de données
Notre réseau modeste compte 1\,217 paramètres pour vingt variables d’entrée.
Avec mille observations, il y a davantage de paramètres que de données. Le chapitre 4 d’Apprentissage statistique l’a établi : dans ce régime, l’ajustement parfait est automatique et sans valeur.
Tracer les deux courbes de perte, en apprentissage et en validation, à chaque époque.
| Configuration | Diagnostic |
|---|---|
| Les deux baissent ensemble | apprentissage sain |
| Apprentissage baisse, validation remonte | sur-ajustement |
| Les deux stagnent haut | sous-ajustement, ou taux inadapté |
Le point où la validation remonte est le point d’arrêt. Tout ce chapitre découle de cette observation.
L’arrêt précoce
Le plus simple, et le plus efficace
Surveiller la perte de validation à chaque époque, conserver les poids du meilleur point, et cesser l’entraînement lorsqu’elle ne s’améliore plus pendant un nombre fixé d’époques — la patience.
Les poids partent de valeurs petites et grandissent au fil de l’entraînement.
Arrêter tôt, c’est limiter leur amplitude — donc faire, indirectement, ce que fait une pénalité L_2. La différence est qu’aucun coefficient n’est à régler.
L’arrêt précoce est gratuit : il n’exige aucun réglage, réduit le temps de calcul, et évite le sur-ajustement.
Il doit être activé par défaut sur tout entraînement, avant même d’envisager les autres techniques.
La pénalisation des poids
Le chapitre 3 d’Apprentissage statistique, transposé
On ajoute à la perte une pénalité sur l’amplitude des paramètres : L_{\text{total}} = L + \lambda \sum_j w_j^2
C’est exactement la régression ridge, appliquée à un réseau. On l’appelle ici weight decay.
Des poids petits signifient des sorties peu sensibles à de petites variations des entrées — donc une fonction plus lisse, moins capable d’épouser le bruit.
\lambda se choisit par validation, comme toujours. Les valeurs usuelles vont de 10^{-5} à 10^{-3}.
On ne pénalise pas les biais, pour la même raison qu’on ne pénalisait pas la constante en régression : ils ne mesurent aucune sensibilité, et les contraindre déplace inutilement le modèle.
Le décrochage
Une idée qui surprend
À chaque passage, désactiver au hasard une fraction p des neurones d’une couche — typiquement p = 0{,}2 à 0{,}5.
À l’inférence, tous les neurones sont actifs, et les sorties sont mises à l’échelle pour compenser.
Interdire la co-adaptation — un neurone ne peut plus compter sur la présence d’un voisin particulier, puisque celui-ci peut disparaître. Chacun doit donc porter une information utile par lui-même.
Un ensemble implicite — chaque passage entraîne un sous-réseau différent, et l’inférence les moyenne tous.
Cette seconde lecture relie directement le décrochage au bagging du chapitre 8 d’Apprentissage statistique : moyenner des modèles différents réduit la variance. Ici, l’ensemble est obtenu sans coût.
Où le placer, et où ne pas
Le décrochage se place sur les couches entièrement connectées, jamais sur la couche de sortie.
Il est peu employé dans les réseaux convolutifs modernes, où la normalisation par lot du chapitre 6 remplit un rôle voisin, et où les deux ensemble se gênent parfois.
Les autres leviers
Trois compléments
Créer artificiellement des observations nouvelles par transformations qui préservent l’étiquette : rotations et recadrages pour une image, décalages temporels pour une série.
C’est la régularisation la plus efficace de toutes, parce qu’elle attaque la cause — le manque de données — et non le symptôme.
Un réseau plus petit ne peut pas mémoriser. C’est une régularisation directe, souvent négligée par réflexe d’ambition.
Devant un sur-ajustement, essayer un réseau plus petit avant d’empiler les techniques est une démarche saine.
Ajouter un léger bruit aux entrées ou aux poids agit comme une régularisation, en interdisant au modèle de s’appuyer sur des détails précis.
- Arrêt précoce — toujours, gratuitement.
- Plus de données, ou augmentation.
- Un réseau plus petit.
- Weight decay, puis décrochage.
Empiler les techniques sans ordre rend le diagnostic impossible : on ne sait plus laquelle agit. Une à la fois, et l’on regarde la courbe.
Ce qu’il faut retenir
Le résumé du chapitre
- Le diagnostic se lit sur les deux courbes de perte : la validation qui remonte signale le sur-ajustement.
- L’arrêt précoce est gratuit et doit être systématique.
- Le weight decay est la régression ridge transposée ; on ne pénalise pas les biais.
- Le décrochage empêche la co-adaptation et constitue un ensemble implicite.
- L’augmentation des données est la plus efficace, car elle traite la cause.
Ces techniques supposent que l’entraînement démarre correctement. Le chapitre 6 traite des deux conditions qui le permettent : initialisation et normalisation.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)