Chapitre 7 — Les arbres de décision

Calculatrice interactive — Apprentissage statistique

1. Indice de Gini d'un nœud

Proportion de la classe positive

2. Réduction d'impureté d'un découpage

$p$ parent

$n$ gauche

$p$ gauche

$n$ droite

$p$ droite

3. Sélectionner un arbre par coût-complexité

Une ligne par arbre : "nombre_de_feuilles erreur".

$\alpha$

Rappels : $\text{Gini}=1-\sum_k p_k^2$, maximal à $p=0{,}5$ ; Gini pondéré après découpage $=\sum_j (n_j/n)\,\text{Gini}_j$ ; critère coût-complexité $=\text{erreur}+\alpha\times\text{nombre de feuilles}$, le plus faible étant préféré.