Chapitre 9 — L'attention et les transformeurs

Calculatrice interactive — Apprentissage profond

1. Attention à produit scalaire mis à l'échelle

Une requête, plusieurs clés et valeurs (2D). Une ligne par position : "k1,k2,v1,v2".

Requête $q$ (2 nombres séparés par une virgule)

2. Effet de la mise à l'échelle $1/\sqrt{d}$

Scores de compatibilité bruts, séparés par des virgules.

Dimension $d$

3. Coût quadratique en longueur de séquence

Longueurs de séquence (séparées par des virgules)

Rappels : Attention$(Q,K,V)=\text{softmax}(QK^{\mathsf T}/\sqrt{d})\,V$ ; sans la division par $\sqrt{d}$, le softmax devient presque binaire en grande dimension ; coût en comparaisons $=L^2$.