Apprentissage profond
Fonctions de perte et d’activation
- Présentation du cours
- Du modèle linéaire au neurone
- Le perceptron multicouche
- Fonctions de perte et d'activation
- La descente de gradient et ses variantes
- La rétropropagation
- Régularisation : décrochage, pénalisation, arrêt précoce
- Initialisation et normalisation
- Les réseaux convolutifs
- Les réseaux récurrents : RNN, LSTM, GRU
- L'attention et les transformeurs
- Prévision de séries financières par réseaux
- Ce que l'apprentissage profond ne résout pas
Apprentissage profond
Chapitre 2 : Fonctions de perte et d’activation
La fonction de perte
Ce que le réseau cherche à minimiser
| Tâche | Perte | Formule |
|---|---|---|
| Régression | erreur quadratique | \frac{1}{n}\sum (y_i - \hat y_i)^2 |
| Régression robuste | erreur absolue | \frac{1}{n}\sum \lvert y_i - \hat y_i \rvert |
| Classification binaire | entropie croisée | -\frac{1}{n}\sum \left[y_i \ln \hat p_i + (1-y_i)\ln(1-\hat p_i)\right] |
Minimiser l’entropie croisée revient exactement à maximiser la vraisemblance du modèle logistique.
C’est le maximum de vraisemblance du chapitre 7 de Statistique inférentielle, sous un autre nom. Le vocabulaire change ; le critère est identique.
En classification, l’erreur quadratique produit des gradients qui s’annulent quand le réseau se trompe avec assurance — précisément quand il faudrait corriger le plus fort.
L’entropie croisée, au contraire, pénalise très lourdement une prédiction confiante et fausse : -\ln(0{,}01) vaut plus de 4{,}6. Le gradient reste vif, et l’apprentissage progresse.
L’erreur quadratique punit fortement les grands écarts : elle est sensible aux valeurs aberrantes.
L’erreur absolue les traite plus doucement : elle convient aux rendements financiers, dont les queues sont épaisses — un fait établi à l’introduction de Modélisation GARCH.
La perte encode ce qui compte pour vous. Ce n’est pas un détail technique.
Les activations
La sigmoïde et son défaut
\sigma(z) = \frac{1}{1 + e^{-z}}
Elle ramène toute valeur dans ]0,1[. Sa dérivée vaut \sigma(z)\left(1 - \sigma(z)\right).
La dérivée de la sigmoïde est maximale en z = 0, où elle vaut 0{,}25. Elle est plus faible partout ailleurs.
Or la rétropropagation multiplie ces dérivées couche après couche :
| Couches | Facteur au mieux |
|---|---|
| 1 | 0{,}25 |
| 5 | 9{,}8 \times 10^{-4} |
| 10 | 9{,}5 \times 10^{-7} |
| 20 | 9{,}1 \times 10^{-13} |
Après dix couches, le gradient est divisé par plus d’un million — et c’est le cas le plus favorable.
Les couches profondes ne reçoivent plus de signal d’apprentissage : leurs poids ne bougent pratiquement pas.
C’est la raison technique pour laquelle les réseaux profonds sont restés inutilisables pendant des décennies.
ReLU, et pourquoi elle a tout changé
\text{ReLU}(z) = \max(0, z)
Sa dérivée vaut 1 pour z > 0 et 0 sinon.
Multiplier des 1 ne diminue rien. Le gradient traverse donc les couches sans s’atténuer, et l’entraînement de réseaux profonds devient possible.
À cela s’ajoutent deux avantages : le calcul est trivial, et la parcimonie — les neurones à sortie nulle ne participent pas, ce qui allège le réseau.
Le passage de la sigmoïde à ReLU est l’une des raisons principales du succès de l’apprentissage profond, davantage qu’une astuce d’implémentation.
Son défaut, et ses variantes
Un neurone dont l’entrée reste négative a un gradient nul en permanence : il est mort, définitivement.
| Variante | Correction |
|---|---|
| Leaky ReLU | pente faible du côté négatif |
| ELU | transition douce, sortie négative bornée |
| GELU | version lissée, usuelle dans les transformeurs |
Ce qu’il faut faire en pratique
Commencer par ReLU dans les couches cachées. Passer à une variante seulement si l’on observe des neurones morts.
Ne jamais mettre de sigmoïde ou de tangente hyperbolique dans les couches cachées d’un réseau profond — sauf dans les portes des architectures récurrentes du chapitre 8, où leur bornage est justement ce qu’on recherche.
Ce qu’il faut retenir
Le résumé du chapitre
- La perte encode l’objectif : quadratique, absolue, ou entropie croisée.
- L’entropie croisée est le maximum de vraisemblance logistique, sous un autre nom.
- La dérivée de la sigmoïde plafonne à 0{,}25 : après dix couches, le gradient est divisé par un million.
- ReLU a une dérivée de 1 : le gradient traverse sans s’atténuer.
- ReLU dans les couches cachées ; sigmoïde ou softmax uniquement en sortie.
Perte et activations sont choisies. Le chapitre 3 aborde l’algorithme qui minimise effectivement cette perte.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)