IA Engineering
Sommaire · leçon 3 sur 139

Module 1 · Du texte aux nombres

Le Transformer et le mécanisme d'attention

Presque tous les modèles de langage actuels reposent sur une même architecture, le Transformer. Son idée centrale, l'attention, permet à chaque mot de tenir compte de tous les autres. Aucune formule dans cette leçon, mais une compréhension précise.

13 minLeçon 3 / 139

À la fin de cette leçon, vous saurez

  • Expliquer le rôle du mécanisme d'attention
  • Décrire ce qui se passe dans les couches d'un Transformer
  • Relier l'architecture au coût des longs contextes

Le problème : le sens dépend du contexte

L'élève a rendu sondevoircarilétaitterminé.L'élèvea rendu son devoir carilétaitmalade.

Lisez cette phrase :

L'élève a rendu son devoir car il était terminé.

Qu'est-ce qui était terminé ? Le devoir, bien sûr. Remplacez « terminé » par « malade » : c'est maintenant l'élève. Le mot « il » ne peut être compris qu'en regardant les autres mots de la phrase, parfois éloignés.

Les premiers modèles de langage lisaient le texte mot après mot, en gardant un résumé de ce qu'ils avaient lu. Sur une phrase longue, le début s'effaçait. En 2017, des chercheurs de Google publient une architecture qui résout ce problème autrement : le Transformer. Les lettres GPT signifient d'ailleurs Generative Pre-trained Transformer.

L'attention

L'élève10 %devoir70 %car5 %ilterminé15 %à qui « il » prête-t-il attention ?

L'idée centrale du Transformer s'appelle l'attention. Pour chaque jeton, le modèle se demande : quels autres jetons du texte m'aident à me comprendre, et dans quelle mesure ?

L'élève15 %a2 %rendu10 %son3 %devoir60 %car3 %ilétait4 %terminé3 %

Pour interpréter « il », le modèle accorde ici l'essentiel de son attention à « devoir » : c'est le devoir qui était terminé, pas l'élève.

Une illustration de l'attention. Les pourcentages sont choisis pour l'exemple ; un vrai modèle calcule ces poids lui-même, pour chaque jeton et à chaque couche.

Concrètement, pour le jeton « il » :

  1. le modèle compare son vecteur à celui de chacun des autres jetons ;
  2. il en déduit un poids pour chacun : fort pour « devoir », faible pour « a » ou « car » ;
  3. il construit un nouveau vecteur pour « il », mélange pondéré des informations des autres jetons.

Après cette opération, le vecteur de « il » ne représente plus un pronom quelconque : il porte l'information « il s'agit du devoir ».

Tous les jetons font ce calcul en même temps, ce qui permet aux processeurs graphiques de traiter le texte entier d'un coup. C'est l'une des raisons du succès du Transformer : il s'entraîne beaucoup plus vite que ses prédécesseurs, sur beaucoup plus de données.

Plusieurs points de vue à la fois

grammairetête 1senstête 2référencetête 3

Un même mot entretient des relations de natures différentes avec les autres : grammaticale, de sens, de référence. Le Transformer calcule donc plusieurs attentions en parallèle, appelées têtes d'attention. L'une peut relier les pronoms à leurs noms, une autre les verbes à leurs sujets, une autre les mots d'un même thème.

Comme pour les dimensions des embeddings, personne ne programme ces rôles : ils émergent de l'entraînement.

Des couches empilées

attentionréseauattentionréseauattentionréseauattentionréseau× des dizaines de couchessensaffiné

Un Transformer empile des dizaines de couches, chacune composée de deux étapes :

ÉtapeRôle
AttentionChaque jeton recueille l'information des autres jetons
Réseau de neuronesChaque jeton transforme, seul, l'information recueillie

Vous retrouvez l'image du parcours IA Essentiels : les premières couches traitent des relations simples, comme la grammaire immédiate ; les suivantes, des notions de plus en plus abstraites, comme le sujet du texte ou l'intention de celui qui écrit.

Tous les poids de ces calculs sont les paramètres du modèle : des dizaines ou des centaines de milliards de nombres, fixés pendant l'entraînement.

Un modèle qui ne regarde pas l'avenir

Lechatdortsur?l'avenir est caché

Les modèles qui génèrent du texte, comme ceux de ChatGPT, Claude ou Gemini, ont une contrainte : chaque jeton ne peut prêter attention qu'aux jetons qui le précèdent, jamais à ceux qui le suivent. C'est logique : quand le modèle écrit, la suite n'existe pas encore.

À l'issue de la dernière couche, le vecteur du dernier jeton résume tout ce qui précède. Il sert à calculer la probabilité de chaque jeton du vocabulaire de venir ensuite. C'est l'objet du chapitre suivant.

Pourquoi les longs textes coûtent cher

longueur du textecalcul1 000 jetons≈ 1 million100 000 jetons≈ 10 milliards

L'attention compare chaque jeton à tous les autres. Pour un texte de 1 000 jetons, cela fait de l'ordre d'un million de comparaisons par couche ; pour 100 000 jetons, de l'ordre de dix milliards. Le coût de calcul croît bien plus vite que la longueur du texte.

Les modèles récents emploient de nombreuses optimisations pour accepter des contextes d'un million de jetons. Mais la conséquence pratique demeure, et vous la retrouverez dans tout le parcours : un contexte long est plus lent et plus cher qu'un contexte court. Envoyer à un modèle seulement ce qui est utile est une compétence centrale de l'AI Engineer.

Vérifiez que vous avez compris

?

Question

Quel est le rôle du mécanisme d'attention ?

Question

Pourquoi un modèle qui génère du texte ne prête-t-il attention qu'aux jetons précédents ?

Avant de continuer

  • Je peux expliquer l'attention avec l'exemple d'un pronom
  • Je sais qu'un Transformer empile des couches d'attention et de réseaux de neurones
  • Je sais pourquoi un contexte long coûte plus cher en calcul