Apprentissage profond
Un réseau de neurones n’est pas une rupture avec ce qui précède : c’est une régression logistique empilée, entraînée par descente de gradient. Ce cours tient ce fil du premier chapitre au dernier, parce qu’il rend l’ensemble intelligible au lieu de le laisser à l’état de boîte noire.
L’ordre est celui de la nécessité. On construit d’abord le perceptron multicouche et la rétropropagation, puis on rencontre les problèmes concrets — le sur-ajustement, les gradients qui s’évanouissent, l’initialisation — et chaque technique (régularisation, normalisation, décrochage) arrive comme réponse à un problème déjà rencontré, jamais avant.
Les applications retenues restent celles du site : des séries temporelles financières, où les architectures récurrentes puis attentionnelles prolongent directement la modélisation ARMA et GARCH, et des données tabulaires, où le cours montre aussi honnêtement dans quels cas le boosting du cours précédent reste supérieur.
Deuxième cours de la branche science des données, niveau Master.
Syllabus
| Niveau | Master |
| Volume horaire indicatif | 12 chapitres, soit environ 24 h de cours |
| Prérequis | Le cours Apprentissage statistique, l’algèbre linéaire et l’analyse mathématique du niveau Licence. Python est ici la langue de travail. |
Chaque chapitre est un diaporama en PDF. Le tableau ci-dessous rassemble, chapitre par chapitre, les diapositives et le reste du matériel — polycopié, exercices, vidéo — au fur et à mesure de leur mise en ligne.
Chapitres et documents
| # | Chapitre | Diapositives | Polycopié | Exercices | Vidéo |
|---|---|---|---|---|---|
| 1 | Du modèle linéaire au neurone | — | — | — | |
| 2 | Le perceptron multicouche | — | — | — | |
| 3 | Fonctions de perte et d’activation | — | — | — | |
| 4 | La descente de gradient et ses variantes | — | — | — | |
| 5 | La rétropropagation | — | — | — | |
| 6 | Régularisation : décrochage, pénalisation, arrêt précoce | — | — | — | |
| 7 | Initialisation et normalisation | — | — | — | |
| 8 | Les réseaux convolutifs | — | — | — | |
| 9 | Les réseaux récurrents : RNN, LSTM, GRU | — | — | — | |
| 10 | L’attention et les transformeurs | — | — | — | |
| 11 | Prévision de séries financières par réseaux | — | — | — | |
| 12 | Ce que l’apprentissage profond ne résout pas | — | — | — |