IA Engineering
Sommaire · leçon 5 sur 139

Module 1 · Produire du texte

La fenêtre de contexte et le budget de jetons

Un modèle ne peut lire qu'une quantité limitée de texte à la fois, et n'en écrire qu'une quantité limitée. Savoir estimer ces limites et leur coût est un réflexe d'AI Engineer, avant même d'écrire la première ligne d'une application.

14 minLeçon 5 / 139

À la fin de cette leçon, vous saurez

  • Distinguer la fenêtre de contexte et la limite de sortie
  • Estimer si un document tient dans un modèle et ce qu'il coûtera
  • Connaître les stratégies pour les textes trop longs ou trop coûteux

Deux limites

fenêtre de contexteconsigne, historique,documents, questionjusqu'à ~1 M jetonssortielimitée

Tout modèle a deux limites, exprimées en jetons.

LimiteCe qu'elle mesureOrdre de grandeur actuel
Fenêtre de contexteTout ce que le modèle lit en une requête : consigne, historique, documents, questionJusqu'à un million de jetons
Limite de sortieCe qu'il peut écrire en une réponse, réflexion compriseDes dizaines de milliers de jetons

Pour les deux modèles de ce parcours :

ModèleFenêtre de contexteSortie maximale
claude-opus-5-51 000 000 jetons128 000 jetons
gemini-4-hydrogen1 000 000 jetons65 000 jetons environ

Un million de jetons représente plusieurs gros livres. Mais une fenêtre immense ne signifie pas qu'il faille la remplir : chaque jeton lu est facturé, et le modèle répond plus lentement.

Ce qui remplit la fenêtre

consigne systèmehistorique (s'allonge)documents jointsquestion

Dans une application réelle, la fenêtre se remplit plus vite qu'on ne le pense :

  • la consigne système, renvoyée à chaque requête ;
  • l'historique de la conversation, qui s'allonge à chaque tour ;
  • les documents que vous joignez ;
  • les résultats des outils, quand le modèle consulte une base de données ou une page web, comme vous le verrez dans le module sur les outils ;
  • la question elle-même.

Dans une conversation de cinquante tours avec un document joint, c'est le document et l'historique, relus à chaque fois, qui font l'essentiel de la facture.

Pratique : estimer avant d'envoyer

document.txt$ python budget_contexte.pyjetons : 18 432part du contexte : 9 %coût estimé : 0,055 $

Un AI Engineer estime le coût d'une fonctionnalité avant de la construire. Créez un fichier document.txt dans ai-engineer et collez-y un long texte : un chapitre de cours, un règlement, un article. Puis créez budget_contexte.py.

Python
import tiktoken

FENETRE = 1_000_000          # jetons que le modèle peut lire en une fois
SORTIE_MAX = 128_000         # jetons qu'il peut écrire au maximum
PRIX_LECTURE = 4.00          # dollars par million de jetons lus
PRIX_ECRITURE = 20.00        # dollars par million de jetons écrits

decoupeur = tiktoken.get_encoding("o200k_base")

with open("document.txt", encoding="utf-8") as fichier:
    texte = fichier.read()

jetons_document = len(decoupeur.encode(texte))
jetons_reponse = 1_000

print(f"Document : {len(texte):,} caractères, environ {jetons_document:,} jetons")
print(f"Part de la fenêtre utilisée : {jetons_document / FENETRE:.1%}")

if jetons_document + jetons_reponse > FENETRE:
    print("Trop long : il faudra découper le document.")
else:
    cout = jetons_document / 1_000_000 * PRIX_LECTURE + jetons_reponse / 1_000_000 * PRIX_ECRITURE
    print(f"Coût estimé d'une question sur ce document : {cout:.3f} $")
    print(f"Pour 100 questions, en renvoyant le document à chaque fois : {cout * 100:.2f} $")

Ce que fait chaque partie

1_000_000
Les tirets bas dans un nombre sont ignorés par Python : ils rendent les grands nombres lisibles.
les constantes en majuscules
Les caractéristiques du modèle visé, ici celles de claude-opus-5-5. Changez-les pour estimer un autre modèle.
tiktoken
Une estimation : le vrai compte dépend du découpage propre à chaque modèle. Pour un chiffre exact, utilisez la fonction de comptage de l'éditeur vue dans la première leçon.
jetons_reponse = 1_000
Une hypothèse sur la longueur moyenne des réponses, réflexion comprise.
{…:,}
Ajoute un séparateur de milliers, une virgule à l'anglaise.

Pour un document de 114 000 caractères, environ trente pages :

Ce que le terminal affiche
Document : 114,120 caractères, environ 24,930 jetons
Part de la fenêtre utilisée : 2.5%
Coût estimé d'une question sur ce document : 0.120 $
Pour 100 questions, en renvoyant le document à chaque fois : 11.97 $

Les nombres dépendent de votre document.

Douze centimes la question paraît modeste. Mais une application utilisée par mille élèves, posant chacun dix questions par jour, coûterait plus de mille dollars par jour. C'est ce calcul qui guide les choix d'architecture.

Quand le texte est trop long ou trop cher

extrairepassages utilesrésumercompactercacheréutiliserdécouperpar morceaux

Quatre stratégies, que le parcours approfondit chacune dans un module :

N'envoyer que les passages utiles. Plutôt que tout le document, on retrouve les quelques paragraphes qui répondent à la question, grâce aux embeddings de la leçon précédente. C'est le principe du RAG, au cœur de deux modules du parcours.

Mettre en cache ce qui ne change pas. Quand le même document est renvoyé à chaque question, les éditeurs proposent de le garder en mémoire de leur côté : sa relecture est alors facturée environ dix fois moins cher. C'est la mise en cache des prompts.

Résumer l'historique. Dans une longue conversation, on remplace les anciens échanges par un résumé.

Découper le travail. Un document trop long pour la fenêtre est traité par parties, dont on assemble ensuite les résultats.

Une limite moins visible : l'attention se dilue

bien lubien lumoins bien exploité au milieuun contexte court et ciblé reste préférable

Même quand un texte tient dans la fenêtre, un modèle peut moins bien exploiter une information perdue au milieu d'un très long contexte. Les modèles récents ont beaucoup progressé sur ce point, mais la règle reste valable : un contexte court et pertinent donne de meilleures réponses qu'un contexte long et encombré.

Vérifiez que vous avez compris

?

Question

Dans une conversation de trente tours avec un document joint de 20 000 jetons, pourquoi le coût augmente-t-il à chaque tour ?

Question

Un document de 3 millions de jetons doit être interrogé. Que faites-vous ?

Avant de continuer

  • Je distingue la fenêtre de contexte et la limite de sortie
  • J'ai estimé la taille et le coût d'un document avant de l'envoyer
  • Je connais les quatre stratégies pour les contextes trop longs ou trop chers