Apprentissage statistique
Les machines à vecteurs de support
- Présentation du cours
- Expliquer ou prévoir : deux objectifs distincts
- Le compromis biais-variance
- Rééchantillonnage et validation croisée
- La régression pénalisée : ridge et lasso
- Sélection de variables et grande dimension
- La classification : logistique et analyse discriminante
- Évaluer un classifieur : matrice de confusion, ROC, AUC
- Les arbres de décision
- Forêts aléatoires et bagging
- Le boosting de gradient
- Les machines à vecteurs de support
- Interpréter un modèle de prévision
Apprentissage statistique
Chapitre 10 : Les machines à vecteurs de support
Séparer par une marge
L’intuition géométrique
Si deux classes sont séparables par une droite, il existe une infinité de droites qui les séparent.
Laquelle choisir ? Celle qui laisse la plus grande marge de sécurité de part et d’autre.
La marge est la distance entre la frontière et les points les plus proches.
L’hyperplan de marge maximale est celui qui la rend la plus grande possible.
Seuls les points situés sur la marge déterminent la frontière. Ce sont les vecteurs de support.
Déplacer un point éloigné ne change rien ; déplacer un vecteur de support change tout.
La solution ne dépend que d’une poignée d’observations.
C’est une force — le modèle est compact, insensible aux points lointains. C’est aussi une faiblesse : une observation aberrante placée près de la frontière peut la déformer entièrement.
La marge souple
Accepter des erreurs
Les données réelles ne sont presque jamais parfaitement séparables. Et même quand elles le sont, exiger une séparation parfaite conduit à une marge minuscule, dictée par quelques points douteux.
La marge souple autorise des violations, pénalisées par un coût C.
| C | Marge | Violations | Comportement |
|---|---|---|---|
| petit | large | nombreuses tolérées | plus de biais, moins de variance |
| grand | étroite | peu tolérées | moins de biais, plus de variance |
C’est encore le chapitre 1
C est un paramètre de régularisation, exactement comme \lambda au chapitre 3 et \alpha au chapitre 7.
Un C petit contraint le modèle ; un C grand le laisse coller aux données. Il se choisit par validation croisée, comme tous les autres.
Le vocabulaire change de chapitre en chapitre ; la question est toujours la même.
L’astuce du noyau
Rendre linéaire ce qui ne l’est pas
Des données non séparables dans leur espace d’origine peuvent le devenir dans un espace de plus grande dimension.
Des points d’une classe au centre, entourés d’un anneau de l’autre classe. Aucune droite ne les sépare dans le plan.
En ajoutant une troisième coordonnée x_1^2 + x_2^2, les points centraux descendent et les points périphériques montent : un simple plan horizontal les sépare.
L’algorithme ne dépend des données qu’à travers des produits scalaires entre observations.
Un noyau calcule directement ce produit scalaire dans l’espace transformé, sans jamais construire les coordonnées. On travaille donc en très grande dimension au prix d’un calcul en dimension d’origine.
| Noyau | Frontière obtenue |
|---|---|
| Linéaire | hyperplan |
| Polynomial de degré d | surface polynomiale |
| Gaussien (RBF) | très flexible, localement adaptative |
Le noyau gaussien est le choix par défaut. Il ajoute un paramètre \gamma : plus il est grand, plus l’influence de chaque point est locale, plus le modèle est flexible.
C et \gamma interagissent : on ne peut pas les optimiser l’un après l’autre.
La pratique est une recherche sur grille, en échelle logarithmique, avec validation croisée. C’est coûteux, et c’est le principal inconvénient pratique de la méthode.
Où les SVM se situent
Un bilan honnête
| Points forts | Points faibles |
|---|---|
| Efficaces en grande dimension | coût de calcul quadratique en n |
| Solution compacte et stable | pas de probabilité directe |
| Le noyau donne beaucoup de souplesse | standardisation obligatoire |
| Théorie solide | deux paramètres à régler conjointement |
Les SVM ont dominé les années 1990 et 2000. Le boosting et les réseaux les ont largement dépassés depuis sur la plupart des tâches.
Ils restent excellents quand p est grand et n modéré — texte, données génomiques, spectres — c’est-à-dire précisément le cas où les méthodes d’ensemble manquent d’observations.
Ce n’est plus le premier choix, mais c’est parfois le bon.
Ce qu’il faut retenir
Le résumé du chapitre
- La SVM choisit l’hyperplan de marge maximale.
- Seuls les vecteurs de support déterminent la frontière — force et fragilité à la fois.
- La marge souple tolère des violations ; C règle le compromis biais-variance.
- L’astuce du noyau permet de travailler en très grande dimension sans construire les coordonnées.
- Coût quadratique en n ; adaptées aux cas où p est grand et n modéré.
Cinq familles de modèles ont été construites, de plus en plus performantes et de moins en moins lisibles.
Le chapitre 11 pose la question qui reste : que peut-on dire d’un modèle qu’on ne peut plus lire ?
Ressources du chapitre
- Diapositives
- Polycopié du chapitre
- Exercices corrigés
- Application interactive
- — Vidéo
- QCM (bientôt)