IA Engineering
Sommaire · leçon 7 sur 91

Module 1 · Les IA qui écrivent

Deviner le mot suivant

Un assistant comme ChatGPT, Claude ou Gemini fait une seule chose, répétée des centaines de fois par réponse : choisir le mot qui vient ensuite.

8 minLeçon 7 / 91

À la fin de cette leçon, vous saurez

  • Expliquer comment un modèle de langage produit un texte
  • Comprendre pourquoi deux réponses à la même question peuvent différer
  • Savoir ce qu'est un prompt et ce qu'est le contexte

Un jeu que vous connaissez

Il était unefois

Complétez cette phrase : « Il était une… »

Vous avez pensé « fois ». Vous n'avez pas réfléchi : vous avez rencontré cette tournure tant de fois que la suite s'impose.

Un modèle de langage, ou LLM, fait exactement cela. Son entrée est un début de texte. Sa sortie est le mot qui a le plus de chances de venir ensuite. Rien d'autre.

Une probabilité pour chaque mot

Le chat…dort62 %mange21 %joue9 %vole1 %

Plus précisément, le modèle ne fournit pas un seul mot. Il attribue à chaque mot possible une probabilité de venir ensuite.

Le chat est sur le canapé et il ?

Mots candidats et leur probabilité

dort41 %
mange27 %
joue18 %
ronronne9 %
télescope< 1 %
Pour ce début de phrase, le modèle juge certains mots probables, d'autres presque impossibles. Il a appris ces probabilités en lisant d'immenses quantités de textes.

Il choisit ensuite un mot parmi les plus probables, l'ajoute au texte, et recommence avec la phrase allongée d'un mot. Puis encore. Et encore.

Le modèle lit tout le texte disponible

Votre question, et tout ce qui a déjà été écrit dans la conversation.

Il calcule la probabilité de chaque mot suivant possible

C'est le travail du réseau de neurones et de ses milliards de paramètres.

Il en choisit un et l'ajoute au texte

Le plus souvent l'un des plus probables, mais pas toujours le premier.

Il recommence à l'étape 1

Jusqu'à ce que le mot le plus probable soit « fin de la réponse ».

C'est pour cela que la réponse d'un assistant s'affiche progressivement, comme si quelqu'un tapait au clavier. Ce n'est pas un effet d'affichage : le texte est réellement produit mot après mot.

Pourquoi la réponse change d'une fois à l'autre

mêmequestionLe chat dort.Le chat mange.

Posez deux fois la même question à un assistant : vous obtiendrez deux réponses formulées différemment.

La raison est à l'étape 3. Le modèle ne prend pas toujours le mot le plus probable : il tire au sort parmi les meilleurs candidats, en favorisant les plus probables. Dans notre exemple, il écrira le plus souvent « dort », parfois « mange », presque jamais « télescope ».

Cette part de hasard est voulue. Sans elle, les textes seraient plats et répétitifs. Elle a une conséquence pratique : si une réponse ne vous convient pas, redemandez. Vous obtiendrez une autre version.

D'un devin de mots à un assistant

devin de motstrès, très entraînérésumertraduireexpliquerécrire un poème

Une question demeure. Comment un programme qui devine des mots peut-il résumer un document, traduire, expliquer une notion ou écrire un poème ?

Parce que, pour bien prédire la suite d'un texte, il faut avoir saisi beaucoup de choses. Pour compléter « La capitale du Sénégal est… », il faut avoir retenu des faits. Pour compléter une démonstration, il faut en suivre la logique. Pour compléter un dialogue, il faut percevoir le ton de chacun. En s'entraînant à cette seule tâche sur des milliards de pages, le modèle a acquis, comme effet secondaire, une vaste capacité à manier la langue et les idées.

Quand vous posez une question, le modèle ne « cherche » donc pas la réponse quelque part. Il prolonge votre texte de la façon la plus vraisemblable. Et la suite la plus vraisemblable d'une question, c'est une réponse.

Deux mots à retenir

contexteprompt : votre messagetokens

Le prompt. C'est le texte que vous envoyez à l'assistant : votre question, votre consigne, le document que vous lui confiez. Puisque le modèle prolonge ce texte, la qualité de la réponse dépend directement de la qualité du prompt. Un module entier de ce parcours est consacré à l'art de bien le rédiger.

Le contexte. C'est tout ce que le modèle a sous les yeux au moment de répondre : votre dernier message, mais aussi le reste de la conversation. Il relit l'ensemble à chaque réponse. Voilà pourquoi il « se souvient » de ce que vous avez dit dix messages plus haut, et pourquoi il oublie tout quand vous ouvrez une nouvelle conversation.

Vérifiez que vous avez compris

Il était une…?

Question

Comment un assistant produit-il sa réponse ?

Avant de continuer

  • Je peux expliquer le principe du « mot suivant » à quelqu'un
  • Je sais pourquoi la même question donne des réponses différentes
  • Je connais les mots prompt, contexte et token