Économétrie avancée
Régression multiple : estimation
- Présentation du cours
- Nature de l'économétrie et données économiques
- Le modèle de régression simple
- Régression multiple : estimation
- Régression multiple : inférence
- Régression multiple : propriétés asymptotiques des MCO
- Régression multiple : approfondissements
- Variables qualitatives (indicatrices)
- Hétéroscédasticité
- Problèmes de spécification et de données
- Introduction aux séries temporelles
- Séries temporelles — approfondissements
- Autocorrélation et hétéroscédasticité en séries temporelles
- Données de panel — méthodes simples
- Données de panel — méthodes avancées
- Variables instrumentales et doubles moindres carrés
- Modèles à équations simultanées
- Variables dépendantes limitées et sélection d'échantillon
- Sujets avancés en séries temporelles
- Réaliser un projet empirique
- Annexe A — Rappels d'outils mathématiques de base
- Annexe B — Rappels de probabilité
- Annexe C — Rappels de statistique mathématique
- Annexe D — Rappels d'algèbre matricielle
- Annexe E — Le modèle de régression linéaire sous forme matricielle
Économétrie avancée
Chapitre 2 : Régression multiple — estimation
Avant de commencer
Pourquoi ce chapitre
La régression simple ne peut contrôler qu’un seul facteur à la fois — une hypothèse SLR.4 rarement crédible. La régression multiple contrôle simultanément plusieurs facteurs, rapprochant l’analyse ceteris paribus d’une véritable comparaison « toutes choses égales par ailleurs ».
Le modèle et son estimation
Spécification et écriture matricielle
y = \beta_0+\beta_1 x_1+\beta_2 x_2+\cdots+\beta_k x_k+u, ou, sous forme matricielle (l’introduction, algèbre linéaire), y=X\beta+u où X est la matrice n\times(k+1) des régresseurs (une colonne de 1 pour l’intercept, puis une colonne par x_j).
En minimisant \sum_i\hat u_i^2=(y-X\hat\beta)^\top(y-X\hat\beta), les conditions du premier ordre donnent \hat\beta = (X^\top X)^{-1}X^\top y, qui n’existe que si X^\top X est inversible (chapitre 3, algèbre linéaire) — c’est-à-dire si aucun régresseur n’est combinaison linéaire exacte des autres.
\hat\beta_j mesure l’effet d’une hausse d’une unité de x_j sur y, en maintenant fixes tous les autres régresseurs du modèle — l’interprétation ceteris paribus que la régression simple ne pouvait offrir qu’imparfaitement.
Sur des données universitaires américaines, la régression de la moyenne au collège (colGPA) sur la moyenne au lycée (hsGPA) et le score à un test d’aptitude (ACT) donne \widehat{\text{colGPA}} = 1{,}29 + 0{,}453\ \text{hsGPA} + 0{,}0094\ \text{ACT}. À score ACT identique, un point de moyenne au lycée en plus est associé à 0{,}453 point de moyenne universitaire en plus — un effet estimé en tenant compte du niveau ACT, ce qu’une régression simple sur hsGPA seul ne pourrait pas garantir.
Les hypothèses de Gauss-Markov
Non-biais et efficacité
- MLR.1–2 : linéarité en les paramètres, échantillonnage aléatoire.
- MLR.3 (absence de colinéarité parfaite) : aucun x_j n’est une combinaison linéaire exacte des autres régresseurs.
- MLR.4 (exogénéité) : \mathbb{E}[u\mid x_1,\dots,x_k]=0.
- MLR.5 (homoscédasticité) : \operatorname{Var}(u\mid x_1,\dots,x_k)=\sigma^2, constante.
Sous MLR.1 à MLR.4, l’estimateur MCO est non biaisé : \mathbb{E}[\hat\beta_j]=\beta_j. Sous MLR.1 à MLR.5 (l’ensemble complet), l’estimateur MCO est en outre le meilleur estimateur linéaire non biaisé (BLUE — Best Linear Unbiased Estimator) : parmi tous les estimateurs linéaires et non biaisés de \beta_j, il a la variance la plus faible.
Le biais de variable omise
Si le « vrai » modèle contient x_1 et x_2, mais qu’on estime une régression n’incluant que x_1, l’estimateur de son coefficient est biaisé dès que x_1 et x_2 sont corrélés — l’estimateur simple capture alors, en partie, l’effet de x_2 « transmis » via sa corrélation avec x_1. C’est le biais de variable omise, la généralisation directe du problème rencontré au chapitre 1.
Multicollinéarité
Une forte corrélation entre régresseurs (multicolinéarité) ne biaise pas les MCO (MLR.4 reste satisfaite), mais gonfle la variance des estimateurs : il devient statistiquement difficile de démêler l’effet propre de chaque variable corrélée. Un cas extrême — une corrélation parfaite — viole directement MLR.3 et rend l’estimation impossible (chapitre 2, algèbre linéaire : le rang de X chute, X^\top X n’est plus inversible).
Qualité de l’ajustement
R^2 ajusté
Le R^2 augmente mécaniquement avec chaque variable ajoutée, utile ou non. Le R^2 ajusté pénalise l’ajout de régresseurs : \bar R^2 = 1-\dfrac{SSR/(n-k-1)}{SST/(n-1)}, et peut diminuer si la variable ajoutée contribue trop peu à réduire SSR — un critère de comparaison de modèles plus fiable que le R^2 simple.
Le modèle multifactoriel de l’introduction (économétrie financière), R_i=\alpha_i+\sum_k\beta_{ik}F_k+\varepsilon_i, est une régression multiple standard : chaque \beta_{ik} s’interprète ceteris paribus — la sensibilité de l’actif au facteur k, en tenant les autres facteurs constants. Le biais de variable omise y prend un sens concret : oublier un facteur de risque pertinent (par exemple un facteur sectoriel) dans le modèle fausse l’estimation des sensibilités aux facteurs retenus, dès que ce facteur omis est corrélé avec eux.
Synthèse
Ce qu’il faut retenir
- \hat\beta=(X^\top X)^{-1}X^\top y ; chaque coefficient s’interprète ceteris paribus.
- Gauss-Markov : non-biais sous MLR.1–4 ; BLUE (variance minimale parmi les estimateurs linéaires non biaisés) sous MLR.1–5.
- Le biais de variable omise apparaît dès qu’un facteur pertinent, corrélé aux régresseurs inclus, est oublié.
- La multicollinéarité gonfle la variance sans biaiser ; le R^2 ajusté pénalise l’ajout de régresseurs peu utiles.
Estimer un coefficient ne suffit pas : encore faut-il savoir s’il est statistiquement significatif, et construire des intervalles de confiance fiables. C’est l’objet de l’inférence.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)