Apprentissage statistique
Expliquer ou prévoir : deux objectifs distincts
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Introduction : Expliquer ou prévoir : deux objectifs distincts
Prérequis
Ce que ce cours suppose acquis
Le niveau Licence dans son ensemble, en particulier l’Introduction à l’économétrie et l’Algèbre linéaire.
Les moindres carrés et leur interprétation. L’écriture matricielle, la norme d’un vecteur, l’inversion. La loi normale et la notion d’estimateur.
La pratique de R ou de Python est supposée acquise : le cours ne l’enseigne pas.
Ce que le cours établit lui-même
L’économétrie estime pour expliquer, et juge un modèle sur son ajustement dans l’échantillon.
Ce cours estime pour prévoir, et juge un modèle sur ce qu’il fait hors échantillon. Le déplacement paraît mince ; il change tous les critères, à commencer par le sens du mot « bon modèle ».
Deux usages d’un même modèle
La distinction qui commande tout le cours
Expliquer : obtenir un coefficient interprétable, assorti d’un écart-type, pour répondre à « quel est l’effet de X sur Y ? »
Prévoir : obtenir une erreur faible sur des observations jamais vues, pour répondre à « quelle sera la valeur de Y ? »
Un modèle peut prévoir remarquablement et n’expliquer rien. Un modèle correctement identifié peut prévoir médiocrement.
L’économétrie du niveau Licence poursuit le premier objectif. Ce cours poursuit le second, et il faut accepter dès maintenant ce qu’il faudra abandonner en chemin : l’interprétabilité des coefficients, la significativité, souvent le sens même du modèle.
Un exemple qui sépare nettement les deux
Pour prévoir le défaut d’un emprunteur, le nombre de relances déjà envoyées est un excellent prédicteur.
Pour comprendre pourquoi il fait défaut, cette variable ne sert à rien : elle est une conséquence de la difficulté, non sa cause. La supprimer dégrade la prévision et améliore l’explication.
Le cadre
Ce qu’on cherche à estimer
Y = f(X) + \varepsilon
f est la partie systématique, inconnue. \varepsilon est un bruit d’espérance nulle, indépendant de X, qu’aucun modèle ne peut capter.
L’erreur de prévision se décompose en :
- une part réductible — l’écart entre notre \hat f et le vrai f ;
- une part irréductible — la variance de \varepsilon.
Tout l’effort porte sur la première. La seconde fixe une limite qu’aucune méthode ne franchira.
Pourquoi c’est libérateur
Savoir qu’une part de l’erreur est irréductible évite de poursuivre indéfiniment une performance impossible.
Un modèle qui atteint la borne du bruit est parfait, même si son erreur reste élevée. Un modèle qui semble faire mieux que le bruit est suspect : il a probablement vu les données de test.
Le fil rouge du cours
Le cours travaille sur un même jeu : mille dossiers de crédit, dont cent défauts, décrits par une vingtaine de variables — revenu, ancienneté, encours, historique.
L’objectif est de prévoir le défaut. Ce cadre permet de comparer toutes les méthodes sur les mêmes chiffres, et il porte une difficulté que le chapitre 6 exploitera longuement : les classes sont déséquilibrées.
Supervisé et non supervisé
Deux familles
Apprentissage supervisé — on dispose de Y, et l’on cherche à le prévoir. Régression si Y est quantitatif, classification s’il est qualitatif.
Apprentissage non supervisé — il n’y a pas de Y. On cherche une structure : groupes, axes, réductions.
L’analyse en composantes principales, les correspondances, la classification ascendante hiérarchique : c’est tout le cours d’Analyse des données du niveau Licence.
Ce cours-ci est donc consacré au supervisé, et suppose l’autre acquis.
| Apprentissage statistique | Économétrie |
|---|---|
| variables explicatives, attributs | variables exogènes, régresseurs |
| étiquette, cible | variable dépendante |
| apprentissage | estimation |
| observation, exemple | individu |
Les objets sont largement les mêmes ; les traditions diffèrent. Savoir traduire évite de croire à des nouveautés qui n’en sont pas.
La règle absolue
Ne jamais évaluer sur les données d’apprentissage
| Ensemble | Rôle |
|---|---|
| Apprentissage | estimer les paramètres |
| Validation | choisir entre modèles et régler les hyperparamètres |
| Test | mesurer la performance finale, une seule fois |
Un modèle assez flexible peut passer exactement par tous les points d’apprentissage. Son erreur y est nulle, et sa performance sur des données nouvelles peut être catastrophique.
L’erreur d’apprentissage mesure la capacité à mémoriser. Seule l’erreur sur données non vues mesure la capacité à généraliser.
Il y a fuite quand une information du test s’introduit dans l’apprentissage. Les cas fréquents :
- normaliser ou imputer avant de découper — les moyennes utilisées contiennent le test ;
- sélectionner les variables sur l’ensemble des données ;
- en séries temporelles, découper au hasard au lieu de couper dans le temps ;
- consulter le test à répétition pour choisir un modèle.
Chacune produit une performance annoncée excellente et une performance réelle décevante. La règle est de découper d’abord, et de ne plus jamais regarder le test.
Ce qu’il faut retenir
Le résumé du chapitre
- Expliquer et prévoir sont deux objectifs distincts, parfois contradictoires.
- Y = f(X) + \varepsilon : l’erreur a une part réductible et une part irréductible.
- Ce cours traite l’apprentissage supervisé ; le non supervisé est le cours d’analyse des données.
- On évalue toujours sur des données non vues : apprentissage, validation, test.
- La fuite de données est l’erreur la plus commune et la plus coûteuse.
Reste à comprendre pourquoi un modèle plus flexible n’est pas toujours meilleur. C’est le compromis biais-variance, et c’est le chapitre 1.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)