Sommaire · leçon 5 sur 139
Module 1 · Produire du texte
La fenêtre de contexte et le budget de jetons
Un modèle ne peut lire qu'une quantité limitée de texte à la fois, et n'en écrire qu'une quantité limitée. Savoir estimer ces limites et leur coût est un réflexe d'AI Engineer, avant même d'écrire la première ligne d'une application.
À la fin de cette leçon, vous saurez
- Distinguer la fenêtre de contexte et la limite de sortie
- Estimer si un document tient dans un modèle et ce qu'il coûtera
- Connaître les stratégies pour les textes trop longs ou trop coûteux
Deux limites
Tout modèle a deux limites, exprimées en jetons.
| Limite | Ce qu'elle mesure | Ordre de grandeur actuel |
|---|---|---|
| Fenêtre de contexte | Tout ce que le modèle lit en une requête : consigne, historique, documents, question | Jusqu'à un million de jetons |
| Limite de sortie | Ce qu'il peut écrire en une réponse, réflexion comprise | Des dizaines de milliers de jetons |
Pour les deux modèles de ce parcours :
| Modèle | Fenêtre de contexte | Sortie maximale |
|---|---|---|
claude-opus-5-5 | 1 000 000 jetons | 128 000 jetons |
gemini-4-hydrogen | 1 000 000 jetons | 65 000 jetons environ |
Un million de jetons représente plusieurs gros livres. Mais une fenêtre immense ne signifie pas qu'il faille la remplir : chaque jeton lu est facturé, et le modèle répond plus lentement.
Ce qui remplit la fenêtre
Dans une application réelle, la fenêtre se remplit plus vite qu'on ne le pense :
- la consigne système, renvoyée à chaque requête ;
- l'historique de la conversation, qui s'allonge à chaque tour ;
- les documents que vous joignez ;
- les résultats des outils, quand le modèle consulte une base de données ou une page web, comme vous le verrez dans le module sur les outils ;
- la question elle-même.
Dans une conversation de cinquante tours avec un document joint, c'est le document et l'historique, relus à chaque fois, qui font l'essentiel de la facture.
Pratique : estimer avant d'envoyer
Un AI Engineer estime le coût d'une fonctionnalité avant de la construire. Créez un fichier document.txt dans ai-engineer et collez-y un long texte : un chapitre de cours, un règlement, un article. Puis créez budget_contexte.py.
import tiktoken
FENETRE = 1_000_000 # jetons que le modèle peut lire en une fois
SORTIE_MAX = 128_000 # jetons qu'il peut écrire au maximum
PRIX_LECTURE = 4.00 # dollars par million de jetons lus
PRIX_ECRITURE = 20.00 # dollars par million de jetons écrits
decoupeur = tiktoken.get_encoding("o200k_base")
with open("document.txt", encoding="utf-8") as fichier:
texte = fichier.read()
jetons_document = len(decoupeur.encode(texte))
jetons_reponse = 1_000
print(f"Document : {len(texte):,} caractères, environ {jetons_document:,} jetons")
print(f"Part de la fenêtre utilisée : {jetons_document / FENETRE:.1%}")
if jetons_document + jetons_reponse > FENETRE:
print("Trop long : il faudra découper le document.")
else:
cout = jetons_document / 1_000_000 * PRIX_LECTURE + jetons_reponse / 1_000_000 * PRIX_ECRITURE
print(f"Coût estimé d'une question sur ce document : {cout:.3f} $")
print(f"Pour 100 questions, en renvoyant le document à chaque fois : {cout * 100:.2f} $")Ce que fait chaque partie
1_000_000- Les tirets bas dans un nombre sont ignorés par Python : ils rendent les grands nombres lisibles.
les constantes en majuscules- Les caractéristiques du modèle visé, ici celles de
claude-opus-5-5. Changez-les pour estimer un autre modèle. tiktoken- Une estimation : le vrai compte dépend du découpage propre à chaque modèle. Pour un chiffre exact, utilisez la fonction de comptage de l'éditeur vue dans la première leçon.
jetons_reponse = 1_000- Une hypothèse sur la longueur moyenne des réponses, réflexion comprise.
{…:,}- Ajoute un séparateur de milliers, une virgule à l'anglaise.
Pour un document de 114 000 caractères, environ trente pages :
Document : 114,120 caractères, environ 24,930 jetons
Part de la fenêtre utilisée : 2.5%
Coût estimé d'une question sur ce document : 0.120 $
Pour 100 questions, en renvoyant le document à chaque fois : 11.97 $Les nombres dépendent de votre document.
Douze centimes la question paraît modeste. Mais une application utilisée par mille élèves, posant chacun dix questions par jour, coûterait plus de mille dollars par jour. C'est ce calcul qui guide les choix d'architecture.
Quand le texte est trop long ou trop cher
Quatre stratégies, que le parcours approfondit chacune dans un module :
N'envoyer que les passages utiles. Plutôt que tout le document, on retrouve les quelques paragraphes qui répondent à la question, grâce aux embeddings de la leçon précédente. C'est le principe du RAG, au cœur de deux modules du parcours.
Mettre en cache ce qui ne change pas. Quand le même document est renvoyé à chaque question, les éditeurs proposent de le garder en mémoire de leur côté : sa relecture est alors facturée environ dix fois moins cher. C'est la mise en cache des prompts.
Résumer l'historique. Dans une longue conversation, on remplace les anciens échanges par un résumé.
Découper le travail. Un document trop long pour la fenêtre est traité par parties, dont on assemble ensuite les résultats.
Une limite moins visible : l'attention se dilue
Même quand un texte tient dans la fenêtre, un modèle peut moins bien exploiter une information perdue au milieu d'un très long contexte. Les modèles récents ont beaucoup progressé sur ce point, mais la règle reste valable : un contexte court et pertinent donne de meilleures réponses qu'un contexte long et encombré.
Vérifiez que vous avez compris
Question
Dans une conversation de trente tours avec un document joint de 20 000 jetons, pourquoi le coût augmente-t-il à chaque tour ?
Question
Un document de 3 millions de jetons doit être interrogé. Que faites-vous ?
Avant de continuer
- Je distingue la fenêtre de contexte et la limite de sortie
- J'ai estimé la taille et le coût d'un document avant de l'envoyer
- Je connais les quatre stratégies pour les contextes trop longs ou trop chers