Inférence causale
Le double machine learning
- Présentation du cours
- Corrélation et causalité : ce que la régression ne dit pas
- Le cadre des résultats potentiels
- Graphes causaux et variables à ne pas contrôler
- L'expérience aléatoire, référence de toutes les méthodes
- Appariement et pondération par le score de propension
- Les doubles différences
- La régression sur discontinuité
- Les variables instrumentales, revisitées
- Le contrôle synthétique
- Le double machine learning
- Effets hétérogènes et forêts causales
- Décider sous incertitude : de l'effet estimé à la politique
Inférence causale et machine learning
Chapitre 9 : Le double machine learning
Ce que résout le ML
Ce qu’il apporte, et ce qu’il n’apporte pas
L’apprentissage automatique n’identifie rien. Le chapitre 2 l’a dit : il ne choisit pas les contrôles, il ne valide aucune hypothèse.
Ce qu’il apporte est ailleurs, et c’est considérable : il permet d’estimer des fonctions de nuisance de grande dimension, là où les méthodes paramétriques échouaient.
Une nuisance est une quantité qu’il faut estimer pour atteindre le paramètre d’intérêt, sans qu’elle présente elle-même d’intérêt.
Dans le modèle partiellement linéaire Y = \tau\,T + g(X) + \varepsilon \qquad\qquad T = m(X) + \nu
\tau est l’effet cherché ; g et m sont des nuisances.
Pourquoi c’est un vrai progrès
L’économétrie classique impose une forme à g — souvent linéaire — parce qu’elle ne sait pas faire autrement.
Si la vraie relation ne l’est pas, l’erreur de spécification contamine l’estimation de \tau. Avec vingt ou cent covariables et des interactions inconnues, cette contamination est certaine.
Le machine learning estime g et m sans forme imposée. C’est exactement ce pour quoi il est bon.
La procédure
Trois ingrédients
Régresser Y sur X, et T sur X, par n’importe quelle méthode d’apprentissage. Conserver les résidus :
\tilde Y = Y - \hat g(X) \qquad\qquad \tilde T = T - \hat m(X)
\hat\tau = \text{régression de } \tilde Y \text{ sur } \tilde T
Ce résultat est enseigné en économétrie : régresser Y sur T et X donne le même coefficient que régresser les résidus l’un sur l’autre.
Le double machine learning en est la version non paramétrique. L’idée n’est pas neuve ; ce qui l’est, c’est de remplacer les régressions auxiliaires par des méthodes flexibles.
Étape 3 — le fractionnement croisé
Estimer \hat g et \hat m sur une partie de l’échantillon, calculer les résidus sur l’autre, et alterner les rôles.
Pourquoi ces deux précautions
Elles ne sont pas facultatives
Les résidus \tilde Y et \tilde T sont ce qui reste une fois X retiré des deux côtés.
Cette construction rend l’estimateur peu sensible aux petites erreurs sur \hat g et \hat m : leurs effets se compensent au premier ordre. C’est la propriété de Neyman-orthogonalité.
Sans lui, le même échantillon sert à estimer la nuisance et l’effet.
Or une méthode flexible sur-ajuste : \hat g capte une part du bruit propre à ces observations. Ce sur-ajustement se transmet aux résidus, donc à \hat\tau, sous forme de biais.
Le fractionnement croisé le supprime : chaque observation voit ses résidus calculés par un modèle qui ne l’a jamais vue.
La parenté avec la validation croisée
C’est exactement le principe du chapitre 2 d’Apprentissage statistique — ne jamais évaluer sur ce qui a servi à estimer.
Ici, l’enjeu n’est plus une mesure de performance honnête, mais l’absence de biais du paramètre d’intérêt. La même discipline, pour une raison différente.
Les deux ensemble, et pas l’une sans l’autre
| Précaution | Ce qu’elle traite |
|---|---|
| Orthogonalisation | la sensibilité aux erreurs de nuisance |
| Fractionnement croisé | le biais dû au sur-ajustement |
Omettre l’une des deux fait perdre les garanties. C’est ce qui distingue le double machine learning d’une simple régression avec des variables prédites.
Ce que cela permet ou non
Le bilan
Un estimateur de \tau convergent, asymptotiquement normal, avec des écarts-types valides — malgré des nuisances estimées par des méthodes non paramétriques.
C’est un résultat théorique important : l’inférence redevient possible après usage du machine learning.
Le double machine learning suppose toujours l’indépendance conditionnelle du chapitre 1.
Si un confondant est non observé, aucune flexibilité n’y remédie. La méthode gère la dimension de X, pas son exhaustivité.
C’est la mise en garde la plus importante du chapitre. Une procédure sophistiquée sur des contrôles insuffisants reste une estimation biaisée — simplement mieux habillée.
Où il s’applique le mieux
Le double machine learning se combine avec les stratégies des chapitres 4 à 8 : il existe des versions pour les variables instrumentales, les doubles différences, les scores de propension.
Dans chaque cas, il prend en charge la partie estimation et laisse intacte la partie identification — qui reste l’affaire du graphe causal et de l’argument institutionnel.
Ce qu’il faut retenir
Le résumé du chapitre
- Le machine learning estime les nuisances, pas l’identification.
- Orthogonaliser : régresser Y et T sur X, puis les résidus l’un sur l’autre — Frisch-Waugh non paramétrique.
- Le fractionnement croisé supprime le biais dû au sur-ajustement des nuisances.
- Les deux précautions ensemble donnent un estimateur convergent avec inférence valide.
- L’indépendance conditionnelle reste requise : la dimension est gérée, pas l’exhaustivité.
Jusqu’ici, on a estimé un effet moyen. Le chapitre 10 exploite le machine learning pour ce qu’il sait faire de plus utile ici : mesurer comment l’effet varie d’un individu à l’autre.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)