Apprentissage profond
Ce que l’apprentissage profond ne résout pas
- Présentation du cours
- Du modèle linéaire au neurone
- Le perceptron multicouche
- Fonctions de perte et d'activation
- La descente de gradient et ses variantes
- La rétropropagation
- Régularisation : décrochage, pénalisation, arrêt précoce
- Initialisation et normalisation
- Les réseaux convolutifs
- Les réseaux récurrents : RNN, LSTM, GRU
- L'attention et les transformeurs
- Prévision de séries financières par réseaux
- Ce que l'apprentissage profond ne résout pas
Apprentissage profond
Chapitre 11 : Ce que l’apprentissage profond ne résout pas
Les données d’abord
La contrainte qui domine tout
Un réseau apprend ses représentations. C’est son avantage sur les méthodes qui exigent des variables construites à la main — et cela coûte beaucoup d’observations.
| Contexte | Observations | Verdict |
|---|---|---|
| Vision, texte | millions | l’apprentissage profond domine |
| Tabulaire, quelques milliers de lignes | milliers | le boosting domine |
| Série financière quotidienne | quelques milliers | modèles économétriques compétitifs |
Le constat, dit franchement
Sur données tabulaires, le boosting de gradient du chapitre 9 d’Apprentissage statistique bat régulièrement les réseaux de neurones.
Les raisons tenues pour principales : variables hétérogènes gérées nativement, aucune normalisation requise, interactions captées sans architecture à concevoir, et robustesse aux réglages approximatifs.
Ce cours ne conclut donc pas à la supériorité des réseaux. Il délimite le domaine où ils apportent quelque chose — et ce domaine n’est pas celui de la plupart des données d’un économiste.
Trois limites de fond
L’absence de causalité
Des associations entre entrées et sortie, dans la distribution qui a produit les données d’apprentissage.
Rien de plus. Aucune architecture, aucune profondeur ne transforme une association en effet.
Un réseau ne dit pas ce qui se passerait si l’on intervenait. Il ne prévoit correctement que tant que la distribution reste la même.
Un modèle de crédit entraîné avant un changement de politique d’octroi devient faux après, non parce qu’il a mal appris, mais parce que le monde qu’il a appris n’existe plus.
C’est la critique de Lucas, formulée en apprentissage automatique.
La fragilité
- Décalage de distribution — les performances s’effondrent hors du domaine d’entraînement.
- Exemples adverses — une perturbation imperceptible change la prédiction.
- Confiance mal calibrée — le réseau se trompe avec assurance.
Un réseau qui annonce 0{,}9 de probabilité se trompe plus souvent que dans un cas sur dix : il est sur-confiant.
En crédit ou en assurance, une probabilité mal calibrée est un problème sérieux : elle fausse tous les calculs de provisionnement en aval. Des méthodes de recalibration existent — elles doivent être appliquées avant tout usage décisionnel.
L’opacité
Les méthodes du chapitre 11 d’Apprentissage statistique — importance par permutation, Shapley — s’appliquent aux réseaux.
Elles expliquent le modèle, jamais le monde. Et un modèle à millions de paramètres reste, dans son fonctionnement, hors de portée d’une explication complète.
Un refus de crédit doit être motivé auprès du client et du superviseur. Un modèle non explicable peut être inutilisable, quelle que soit sa performance.
C’est une contrainte réglementaire, non technique, et elle explique la persistance des scores logistiques dans les banques.
Comment choisir
Une règle de décision
| Situation | Méthode |
|---|---|
| Tabulaire, milliers de lignes | Boosting |
| Image, texte, son | Réseaux profonds |
| Série unique, quotidienne | ARMA, GARCH |
| Beaucoup de séries, haute fréquence | Réseaux |
| Décision à motiver | Modèle linéaire ou arbre |
| Question causale | Ni l’un ni l’autre — voir Inférence causale |
- Commencer par une référence simple.
- Passer au boosting si le tabulaire domine.
- N’aller aux réseaux que si la nature des données ou leur volume le justifient.
- À chaque étape, vérifier que le gain paie sa complexité.
Cette progression n’est pas de la timidité : c’est ce qui permet de savoir d’où vient un gain quand il apparaît.
Bilan du cours
Le parcours
| Chapitres | Compétence |
|---|---|
| 1–2 | Comprendre un neurone, compter les paramètres |
| 3–5 | Choisir perte et activation, entraîner, diagnostiquer un gradient |
| 6–7 | Régulariser, initialiser, normaliser |
| 8–10 | Convolutif, récurrent, attention |
| 11–12 | Appliquer aux séries, et savoir quand ne pas le faire |
Le fil rouge chiffré
| Chapitre | Élément | Valeur |
|---|---|---|
| 2 | Paramètres du réseau 20–32–16–1 | 1\,217 |
| 3 | Dérivée maximale de la sigmoïde | 0{,}25 |
| 3 | Gradient après 10 couches | 9{,}5 \times 10^{-7} |
| 4 | Descente sur w^2 : \eta = 0{,}1 / \eta = 1{,}1 | converge / diverge |
| 8 | Couche dense contre convolution | 1\,000\,100 contre \mathbf{320} |
Ce qu’il faut conserver
Les architectures changeront. Trois choses resteront :
- Un réseau est une composition de modèles linéaires et de non-linéarités, entraînée par descente de gradient. Tout le reste en découle.
- Le volume de données commande le choix de méthode, davantage que la nature du problème.
- Prévoir n’est pas expliquer, et aucune architecture ne comblera cet écart.
Le troisième point est celui que le cours suivant prend en charge.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)