Économétrie avancée
Annexe E — Le modèle de régression linéaire sous forme matricielle
- Présentation du cours
- Nature de l'économétrie et données économiques
- Le modèle de régression simple
- Régression multiple : estimation
- Régression multiple : inférence
- Régression multiple : propriétés asymptotiques des MCO
- Régression multiple : approfondissements
- Variables qualitatives (indicatrices)
- Hétéroscédasticité
- Problèmes de spécification et de données
- Introduction aux séries temporelles
- Séries temporelles — approfondissements
- Autocorrélation et hétéroscédasticité en séries temporelles
- Données de panel — méthodes simples
- Données de panel — méthodes avancées
- Variables instrumentales et doubles moindres carrés
- Modèles à équations simultanées
- Variables dépendantes limitées et sélection d'échantillon
- Sujets avancés en séries temporelles
- Réaliser un projet empirique
- Annexe A — Rappels d'outils mathématiques de base
- Annexe B — Rappels de probabilité
- Annexe C — Rappels de statistique mathématique
- Annexe D — Rappels d'algèbre matricielle
- Annexe E — Le modèle de régression linéaire sous forme matricielle
Économétrie avancée
Annexe E : Le modèle de régression linéaire sous forme matricielle
Avant de commencer
Pourquoi cette annexe
Ce chapitre referme le cours en reformulant, en notation matricielle compacte, tout ce qui a été établi progressivement depuis le chapitre 1 : l’estimateur MCO, son non-biais, sa matrice de variance-covariance, le théorème de Gauss-Markov, et l’inférence exacte sous normalité. Rien de nouveau sur le plan économique — mais une vision d’ensemble, unifiée, du cours entier.
Le modèle et l’estimateur MCO
Écriture matricielle
Avec \mathbf y (n\times1) le vecteur des observations, \mathbf X (n\times k) la matrice des régresseurs (première colonne de 1 pour l’intercept) et \mathbf u (n\times1) le vecteur des erreurs, le modèle linéaire s’écrit en une seule équation : \mathbf y=\mathbf X\boldsymbol\beta+\mathbf u. Chacune des n équations individuelles y_t=\mathbf x_t\boldsymbol\beta+u_t (chapitre 2) est une ligne de cette écriture compacte.
Minimiser SSR(\mathbf b)=(\mathbf y-\mathbf{Xb})'(\mathbf y-\mathbf{Xb}) conduit aux équations normales \mathbf X'\mathbf X\hat{\boldsymbol\beta}=\mathbf X'\mathbf y — l’équivalent matriciel exact des conditions de premier ordre du chapitre 2 — dont la solution, quand \mathbf X'\mathbf X est inversible, est \hat{\boldsymbol\beta}=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y. Cette formule unique condense tout le système des k équations à k inconnues du chapitre 2.
Écriture matricielle (suite)
\mathbf X'\mathbf X est inversible si et seulement si \operatorname{rang}(\mathbf X)=k — la traduction matricielle directe de MLR.3 (absence de colinéarité parfaite, chapitre 1). Sans cette condition, \hat{\boldsymbol\beta} n’est simplement pas défini : ce n’est pas un problème d’inférence, mais d’existence même de l’estimateur.
\hat{\mathbf y}=\mathbf X\hat{\boldsymbol\beta}, \hat{\mathbf u}=\mathbf y-\hat{\mathbf y}, et la condition de premier ordre équivaut à \mathbf X'\hat{\mathbf u}=\mathbf 0 : puisque la première colonne de \mathbf X est un vecteur de 1, ceci implique immédiatement que les résidus somment à zéro et que chaque régresseur est en covariance d’échantillon nulle avec les résidus — deux propriétés du chapitre 2, ici obtenues en une ligne.
Propriétés à échantillon fini
Non-biais
Sous linéarité (E.1), exogénéité stricte E(\mathbf u\mid\mathbf X)=\mathbf 0 (E.2, généralisation matricielle de MLR.3-4) et rang plein (E.3), on écrit \hat{\boldsymbol\beta}=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y=\boldsymbol\beta+(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf u, d’où E(\hat{\boldsymbol\beta}\mid\mathbf X)=\boldsymbol\beta immédiatement, puisque E(\mathbf u\mid\mathbf X)=\mathbf 0. Toute la démonstration du non-biais MCO (chapitre 2) tient en cette seule ligne de calcul matriciel.
Matrice de variance-covariance
Sous E.4, \operatorname{Var}(\mathbf u\mid\mathbf X)=\sigma^2\mathbf I_n (chapitre 12), on obtient \operatorname{Var}(\hat{\boldsymbol\beta}\mid\mathbf X)=\sigma^2(\mathbf X'\mathbf X)^{-1}. La variance de \hat\beta_j est \sigma^2 fois le j-ième terme diagonal de (\mathbf X'\mathbf X)^{-1} ; les covariances entre estimateurs, nécessaires pour tester des combinaisons linéaires de coefficients (chapitre 3), sont directement les termes hors diagonale — plus besoin de la formule ad hoc du chapitre 2 pour chaque cas particulier.
Le théorème de Gauss-Markov, version générale
Pour tout estimateur linéaire non biaisé \tilde{\boldsymbol\beta}=\mathbf{Ay} (avec \mathbf{AX}=\mathbf I_k, condition de non-biais), on montre que \operatorname{Var}(\tilde{\boldsymbol\beta}\mid\mathbf X)-\operatorname{Var}(\hat{\boldsymbol\beta}\mid\mathbf X)=\sigma^2\mathbf A'\mathbf{MA}, où \mathbf M=\mathbf I_n-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X' est idempotente (chapitre 12) — donc \mathbf A'\mathbf{MA} est semi-définie positive. Pour toute combinaison linéaire \mathbf c'\boldsymbol\beta, \operatorname{Var}(\mathbf c'\tilde{\boldsymbol\beta})\ge\operatorname{Var}(\mathbf c'\hat{\boldsymbol\beta}) : les MCO sont BLUE, dans toute leur généralité, pas seulement coefficient par coefficient.
\mathbf M est exactement la matrice idempotente de rang n-k introduite au chapitre 12 comme préfiguration des résidus : \hat{\mathbf u}=\mathbf{My}=\mathbf{Mu}. Elle joue ici un double rôle — produire les résidus, et démontrer l’optimalité des MCO — ce qui illustre pourquoi les outils du chapitre 12 étaient nécessaires avant d’aborder ce résultat.
Estimation de \sigma^2
Avec \hat\sigma^2=\hat{\mathbf u}'\hat{\mathbf u}/(n-k), en utilisant \hat{\mathbf u}=\mathbf{Mu}, \operatorname{tr}(\mathbf M)=n-k (chapitre 12) et la propriété E[\operatorname{tr}(\mathbf{Muu}')\mid\mathbf X]=\sigma^2\operatorname{tr}(\mathbf M), on obtient E(\hat\sigma^2\mid\mathbf X)=\sigma^2 — la démonstration générale, en quelques lignes, de ce qui était admis sans preuve complète au chapitre 2.
Inférence sous normalité
Normalité de \hat{\boldsymbol\beta} et lois exactes
Ajoutant \mathbf u\mid\mathbf X\sim\mathcal N(\mathbf 0,\sigma^2\mathbf I_n) (E.5, hypothèse MLR.6 du chapitre 3), on obtient \hat{\boldsymbol\beta}\mid\mathbf X\ \sim\ \mathcal N\big(\boldsymbol\beta,\ \sigma^2(\mathbf X'\mathbf X)^{-1}\big), puisque \hat{\boldsymbol\beta} est une transformation linéaire de \mathbf u (propriété de la loi normale multivariée, chapitre 12).
Trois ingrédients, tous établis au chapitre 12, se combinent : (i) (\hat\beta_j-\beta_j)/sd(\hat\beta_j)\sim\mathcal N(0,1) ; (ii) (n-k)\hat\sigma^2/\sigma^2=(\mathbf u/\sigma)'\mathbf M(\mathbf u/\sigma)\sim\chi^2_{n-k} car \mathbf M est idempotente de rang n-k ; (iii) \hat{\boldsymbol\beta} et \hat\sigma^2 sont indépendants, car (\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf M=\mathbf 0. En combinant (i), (ii) et (iii) selon la définition même de la loi de Student (chapitre 12), \dfrac{\hat\beta_j-\beta_j}{\operatorname{se}(\hat\beta_j)}\ \sim\ t_{n-k}.
Cette dérivation referme une boucle ouverte depuis le chapitre 3 : le résultat t=\hat\beta_j/\operatorname{se}(\hat\beta_j)\sim t_{n-k-1} sous H_0, utilisé des dizaines de fois dans ce cours, découle entièrement des propriétés des matrices idempotentes et de la loi normale multivariée établies au chapitre précédent — rien n’est plus admis sans preuve.
Efficacité et lien avec le maximum de vraisemblance
Sous les hypothèses E.1–E.5, la borne de Cramér-Rao pour tout estimateur non biaisé de \boldsymbol\beta est exactement \sigma^2(\mathbf X'\mathbf X)^{-1} : les MCO sont donc optimaux parmi tous les estimateurs non biaisés, pas seulement parmi les estimateurs linéaires (extension du théorème de Gauss-Markov). De plus, sous normalité, maximiser la vraisemblance revient exactement à minimiser SSR(\mathbf b) : MCO et maximum de vraisemblance coïncident — sauf pour \sigma^2, où l’estimateur MV (SSR/n) est biaisé, contrairement à \hat\sigma^2=SSR/(n-k) systématiquement préféré en pratique.
Synthèse générale du cours
Ce qu’il faut retenir
- \hat{\boldsymbol\beta}=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y condense en une formule tout le système d’équations normales du chapitre 2 ; son existence exige le rang plein de \mathbf X.
- Non-biais, matrice de variance-covariance \sigma^2(\mathbf X'\mathbf X)^{-1}, et théorème de Gauss-Markov (BLUE) se démontrent en quelques lignes à partir des outils du chapitre 12 — idempotence, positivité semi-définie, propriétés de l’espérance et de la variance matricielles.
- Sous normalité, les lois t et F exactes du chapitre 3 découlent directement des propriétés des matrices idempotentes appliquées au vecteur d’erreurs.
- Les MCO sont l’estimateur à variance minimale parmi tous les estimateurs non biaisés (pas seulement linéaires) sous normalité, et coïncident avec le maximum de vraisemblance pour \boldsymbol\beta.
Les chapitres 5 à 13 ont approfondi et généralisé les fondations posées à l’introduction et aux chapitres 1 à 4 : formes fonctionnelles avancées, variables qualitatives, hétéroscédasticité, problèmes de spécification, séries temporelles, et enfin l’appareil probabiliste et matriciel complet qui sous-tend l’ensemble. Les chapitres suivants (variables instrumentales, données de panel) prolongeront ce cadre vers les situations où l’exogénéité stricte elle-même doit être abandonnée.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)