Régression linéaire simple

Le modèle

La régression linéaire simple modélise une variable y (à expliquer) par une variable x (explicative) :

y = \beta_0 + \beta_1 x + \varepsilon, \qquad E(y \mid x) = \beta_0 + \beta_1 x.

Le coefficient \beta_1 est l’effet marginal de x sur y : la variation moyenne de y quand x augmente d’une unité.

L’estimation par les moindres carrés

On choisit b_0, b_1 qui minimisent la somme des carrés des résidus \sum (y_i - \hat{y}_i)^2. La solution :

b_1 = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2} = \frac{s_{xy}}{s_x^2}, \qquad b_0 = \bar{y} - b_1 \bar{x}.

La qualité de l’ajustement se mesure par le coefficient de détermination :

R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST} \in [0,1].

À vous de jouer

Réglez la pente vraie et le bruit, rééchantillonnez, et observez la droite estimée (orange) approcher la droite vraie (pointillés), ainsi que les coefficients et le R^2.

1.2
1.5
b₁
–
b₀
–
R²
–

Le faire en R

Le même calcul avec la fonction lm() — la brique de base de toute l’économétrie :

set.seed(1)
n <- 40
x <- runif(n, 0, 10)
y <- 2 + 1.2 * x + rnorm(n, sd = 1.5)

modele <- lm(y ~ x)
summary(modele)          # coefficients, R², tests
plot(x, y); abline(modele, col = "orange", lwd = 2)

Ce bloc affiche le code. Pour que l’étudiant l’exécute en ligne (sans installer R) :

  1. installez l’extension une fois : quarto add coatless-templates/quarto-webr ;
  2. ajoutez webr: {} et filters: [webr] à l’en-tête de cette page ;
  3. remplacez la clôture ```r par ```{webr-r}.

Le même principe avec Pyodide (quarto add coatless-templates/quarto-pyodide) permet d’exécuter du Python en ligne.

Diapositives & vidéo

Astuce

Le chapitre correspondant du cours de statistique inclut des diapositives (téléchargeables en PDF) et une vidéo courte. Elles seront intégrées ici — par exemple :

  • diapositives : chapitre12.pdf
  • vidéo : lien YouTube intégré via .