Économétrie financière
Prévision et évaluation des modèles
Économétrie financière
Chapitre 7 : Prévision et évaluation des modèles
Avant de commencer
Pourquoi ce chapitre
Les sept chapitres précédents ont construit un large éventail de modèles. Il reste la question la plus importante pour la gestion des risques : comment savoir si un modèle est bon ? Un modèle qui s’ajuste parfaitement au passé peut prévoir très mal l’avenir — et c’est la prévision, pas l’ajustement, qui importe pour le risque de marché.
Ajustement en échantillon
Le piège du sur-ajustement
Ajouter des paramètres à un modèle améliore toujours son ajustement en échantillon (le R^2 ne peut qu’augmenter). Les critères d’information pénalisent la complexité pour comparer des modèles à nombre de paramètres différent : \text{AIC} = -2\ln L + 2k, \qquad \text{BIC} = -2\ln L + k\ln n, où L est la vraisemblance maximisée, k le nombre de paramètres et n la taille de l’échantillon. Le modèle préféré est celui qui minimise le critère ; le BIC pénalise plus sévèrement la complexité dans les grands échantillons.
Un modèle à de nombreux paramètres peut coller de très près aux données historiques tout en produisant des prévisions médiocres — le sur-ajustement capture le bruit de l’échantillon, pas la structure durable des données. C’est pourquoi l’évaluation hors échantillon (ci-dessous) prime toujours sur le seul ajustement en échantillon.
Évaluation hors échantillon
Mesurer l’erreur de prévision
Sur une période de test jamais utilisée pour l’estimation, en comparant h prévisions \hat y_t aux valeurs réalisées y_t : \text{RMSE} = \sqrt{\dfrac1h\sum_{t}(\hat y_t-y_t)^2}, \qquad \text{MAE} = \dfrac1h\sum_t|\hat y_t-y_t|. Le RMSE pénalise davantage les grosses erreurs (utile si l’on redoute les erreurs isolées mais importantes) ; le MAE est plus robuste aux valeurs extrêmes.
Pour choisir entre une prévision de volatilité EWMA (chapitre 2) et une prévision GARCH (chapitre 3), on compare leur RMSE respectif contre une mesure de volatilité réalisée (par exemple, la volatilité intra-journalière calculée à partir de données haute fréquence) sur une période post-échantillon. C’est cette comparaison hors échantillon, et non l’ajustement en échantillon, qui doit guider le choix du modèle de volatilité utilisé en production.
Le backtesting de la VaR
Le test de couverture inconditionnelle
Sur T jours, une VaR au niveau de confiance 1-\pi_{\exp} (par exemple \pi_{\exp}=1\%) devrait être dépassée (« exception ») environ \pi_{\exp}\times T fois. En notant n_1 le nombre d’exceptions observées, n_0=T-n_1, et \hat\pi_{\text{obs}}=n_1/T, le test de couverture inconditionnelle de Kupiec (1995) repose sur la statistique du rapport de vraisemblance -2\ln LR_{uc} = -2\Big[n_0\ln(1-\pi_{\exp})+n_1\ln(\pi_{\exp}) - n_0\ln(1-\hat\pi_{\text{obs}})-n_1\ln(\hat\pi_{\text{obs}})\Big] \ \sim\ \chi^2(1) \text{ sous } H_0.
Sur 1000 prévisions de VaR à 1\%, on observe n_1=15 exceptions (au lieu des 10 attendues), soit \hat\pi_{\text{obs}}=1{,}5\%. Le calcul donne -2\ln LR_{uc}\approx2{,}2, très inférieur au seuil critique du \chi^2(1) à 10\% (2{,}71) : on ne rejette pas l’hypothèse que le modèle est bien calibré, malgré un nombre d’exceptions supérieur à l’attendu.
Le test de couverture conditionnelle
Un bon modèle de VaR doit non seulement produire le bon nombre d’exceptions, mais aussi des exceptions indépendantes dans le temps — des dépassements groupés en rafale trahissent un modèle qui ne réagit pas assez vite aux chocs de volatilité (typiquement, une moyenne mobile équipondérée à fenêtre longue). Le test de couverture conditionnelle de Christoffersen (1998), LR_{cc}=LR_{uc}\times LR_{ind}, ajoute au test de Kupiec une composante d’indépendance, et suit un \chi^2(2) sous l’hypothèse nulle.
Reprenons les 15 mêmes exceptions, mais regroupées en quatre épisodes rapprochés plutôt que dispersées uniformément. Le test de couverture inconditionnelle ne change pas (-2\ln LR_{uc}\approx2{,}2, toujours non rejeté), mais le test de couverture conditionnelle donne -2\ln LR_{cc}\approx88{,}5 — très largement au-dessus du seuil critique du \chi^2(2) : le modèle est rejeté, non pas à cause du nombre d’exceptions, mais parce qu’elles sont groupées dans le temps, signe d’un défaut de réactivité du modèle de volatilité sous-jacent.
Le test de couverture conditionnelle (suite)
Le Comité de Bâle impose aux banques un backtesting quotidien de leur VaR réglementaire à 99\% sur les 250 derniers jours de trading, classé en trois zones selon le nombre d’exceptions observées : zone verte (0 à 4 exceptions, modèle jugé adéquat), zone orange (5 à 9, surveillance renforcée et multiplicateur de capital croissant), zone rouge (10 et plus, modèle présumé défaillant, remise en cause immédiate). C’est une version opérationnelle, simplifiée mais très concrète, du test de couverture inconditionnelle présenté ci-dessus.
Synthèse
Ce qu’il faut retenir
- AIC/BIC pénalisent la complexité pour comparer l’ajustement en échantillon de modèles différents ; un bon ajustement n’implique pas une bonne prévision.
- RMSE/MAE évaluent la qualité des prévisions hors échantillon — le critère qui compte réellement pour le risque de marché.
- Backtesting de la VaR : le test de Kupiec (couverture inconditionnelle) compte les exceptions ; le test de Christoffersen (couverture conditionnelle) vérifie en plus leur indépendance dans le temps.
- Les zones de Bâle (vert/orange/rouge) appliquent ce principe en pratique réglementaire.
Ces huit chapitres couvrent l’ensemble de la boîte à outils de l’économétrie financière moderne — des modèles factoriels au backtesting réglementaire. Le bloc suivant du Master, consacré à la Value at Risk, s’appuie directement sur ces outils pour construire, calculer et valider des mesures de risque de portefeuille.
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)