Sommaire · leçon 1 sur 139
Module 1 · Du texte aux nombres
Les jetons : comment un modèle découpe le texte
Un modèle de langage ne lit ni des lettres ni des mots, mais des jetons. Comprendre ce découpage explique les coûts, les limites de longueur, et quelques comportements étranges des modèles.
À la fin de cette leçon, vous saurez
- Expliquer ce qu'est un jeton et pourquoi on ne découpe pas en mots
- Découper un texte en jetons avec Python et observer le résultat
- Mesurer l'effet de la langue sur le nombre de jetons, donc sur le coût
Bienvenue dans le parcours AI Engineer
Ce parcours vous apprend à concevoir, évaluer et déployer des applications d'IA. Il suppose que vous savez écrire un programme Python, utiliser un environnement virtuel, Git, et appeler une API : c'est le contenu de la Passerelle.
Ce premier module ouvre le capot. Vous n'entraînerez pas de modèle, mais vous comprendrez ce qui se passe entre votre requête et la réponse. C'est ce qui permet ensuite de prévoir les coûts, de comprendre les erreurs et de choisir les bons réglages.
- 1
Texte
Le chat dort
- 2
Jetons
Le · chat · dort
- 3
Identifiants
3207 · 9512 · 41877
- 4
Vecteurs
[0.12, −0.8, …] × 3
- 5
Transformer
des dizaines de couches
- 6
Probabilités
« . » 62 %, « sur » 21 %…
le jeton choisi est ajouté au texte, et tout recommence pour le suivant
Préparer le projet du parcours
Créer le dossier et l'environnement
Dans formation-ia, créez le dossier ai-engineer, ouvrez-le dans VS Code, puis dans le terminal intégré :
python -m venv .venv
.venv\Scripts\Activate.ps1python3 -m venv .venv
source .venv/bin/activateInstaller les bibliothèques du module
pip install numpy tiktoken google-genai anthropic python-dotenvCe que fait chaque partie
numpy- La bibliothèque de calcul numérique de Python. Elle manipule efficacement des listes de nombres : exactement ce qu'est un modèle.
tiktoken- Un découpeur de texte en jetons, publié par OpenAI, qui fonctionne sans clé ni connexion après son premier usage.
les trois suivantes- Les bibliothèques de la Passerelle : Gemini, Claude et la lecture du
.env.
Protéger et reprendre vos clés
Créez le .gitignore habituel (.venv/, .env, __pycache__/), faites git init, puis copiez votre fichier .env de projet-ia dans ce dossier.
Pourquoi pas des mots, ni des lettres ?
Un modèle travaille avec un vocabulaire fixé à l'avance : une liste d'unités de texte, chacune associée à un numéro. Il faut donc choisir ce que sont ces unités.
- Des lettres ? Le vocabulaire serait minuscule, mais un texte deviendrait une très longue suite d'éléments, chacun presque vide de sens. Le modèle serait lent et peu efficace.
- Des mots entiers ? Il en faudrait des millions, et tout mot absent du vocabulaire, une faute de frappe, un nom propre, un mot en wolof, serait illisible.
- Des morceaux de mots. C'est le compromis retenu. Les mots fréquents forment un seul morceau ; les mots rares se décomposent en plusieurs. Tout texte, dans toutes les langues, peut ainsi être découpé.
Ces morceaux s'appellent des jetons (tokens). Le vocabulaire d'un modèle actuel en compte de l'ordre de cent mille à quelques centaines de milliers.
Le découpage est appris à partir des textes d'entraînement : les suites de caractères les plus fréquentes deviennent des jetons. La méthode la plus répandue porte le nom de BPE, pour Byte Pair Encoding.
Pratique : découper du texte
Créez jetons.py.
import tiktoken
decoupeur = tiktoken.get_encoding("o200k_base")
phrases = [
"Bonjour, je m'appelle Awa et j'habite à Dakar.",
"Hello, my name is Awa and I live in Dakar.",
"anticonstitutionnellement",
"Mbote, nkombo na ngai Awa",
]
for phrase in phrases:
identifiants = decoupeur.encode(phrase)
morceaux = [decoupeur.decode([i]) for i in identifiants]
print(f"{len(identifiants):2} jetons : {morceaux}")
print(decoupeur.encode("Bonjour, je m'appelle Awa"))Ce que fait chaque partie
get_encoding('o200k_base')- Charge un vocabulaire de jetons, ici celui de modèles récents d'OpenAI, d'environ deux cent mille jetons. Il est téléchargé au premier usage.
encode(phrase)- Découpe la phrase et renvoie la liste des identifiants : un numéro par jeton.
[decoupeur.decode([i]) for i in …]- Une liste en compréhension : elle construit une liste en appliquant une opération à chaque élément d'une autre. Ici, elle retraduit chaque identifiant en morceau de texte, pour voir le découpage.
{len(identifiants):2}- Le
:2aligne les nombres sur deux caractères, pour un affichage en colonnes.
14 jetons : ['Bonjour', ',', ' je', ' m', "'appelle", ' A', 'wa', ' et', ' j', "'hab", 'ite', ' à', ' Dakar', '.']
13 jetons : ['Hello', ',', ' my', ' name', ' is', ' A', 'wa', ' and', ' I', ' live', ' in', ' Dakar', '.']
5 jetons : ['ant', 'icon', 'stitution', 'nel', 'lement']
10 jetons : ['Mb', 'ote', ',', ' n', 'kom', 'bo', ' na', ' ngai', ' A', 'wa']
[45751, 11, 1264, 284, 178903, 355, 1708]Ce que révèle ce découpage
L'espace fait partie du jeton. ' je' et ' Dakar' commencent par une espace : pour le modèle, « Dakar » en début de phrase et « Dakar » après un mot sont deux jetons différents.
Les mots fréquents tiennent en un jeton, les rares se morcellent. Bonjour et Dakar sont entiers ; Awa devient A + wa ; anticonstitutionnellement, cinq morceaux.
La langue change le compte. La phrase française compte plus de jetons que sa traduction anglaise, alors qu'elle est presque aussi longue. Le lingala, peu présent dans les textes d'entraînement, se découpe en morceaux plus petits : « nkombo » devient trois jetons. Comme on paie au jeton, une même idée coûte plus cher dans une langue peu représentée.
Le modèle ne voit que des numéros. La dernière ligne montre ce qu'il reçoit réellement : [45751, 11, 1264, …]. Il ne voit jamais les lettres.
Chaque famille de modèles a son découpage
tiktoken reproduit le découpage de certains modèles d'OpenAI. Claude et Gemini ont leurs propres vocabulaires : le même texte n'y donne pas exactement le même nombre de jetons. tiktoken sert à comprendre le principe et à obtenir un ordre de grandeur ; il ne faut jamais l'utiliser pour calculer un coût Claude ou Gemini.
Pour un compte exact, chaque éditeur fournit une fonction de comptage, qui interroge son API sans générer de réponse :
import anthropic
from dotenv import load_dotenv
load_dotenv()
client = anthropic.Anthropic()
compte = client.messages.count_tokens(
model="claude-opus-5-5",
messages=[{"role": "user", "content": "Bonjour, je m'appelle Awa et j'habite à Dakar."}],
)
print("Jetons lus par Claude :", compte.input_tokens)Ce que fait chaque partie
count_tokens(…)- Mêmes paramètres qu'un appel normal, mais rien n'est généré : l'API renvoie seulement le nombre de jetons que lirait le modèle.
input_tokens- Le nombre exact pour ce modèle. Il inclut quelques jetons de structure, ajoutés autour de votre message.
Ce comptage est utile avant d'envoyer un long document : vous savez à l'avance s'il tient dans le modèle, et ce qu'il coûtera.
Ordres de grandeur à retenir
Pour estimer rapidement :
| Texte | Jetons, ordre de grandeur |
|---|---|
| Un mot français courant | 1 à 2 |
| Une page de roman | 400 à 600 |
| Un livre de 300 pages | 150 000 à 200 000 |
Ces valeurs varient selon la langue et le modèle. Elles suffisent pour savoir si un document est petit, moyen ou énorme.
Vérifiez que vous avez compris
Question
Pourquoi un même texte coûte-t-il souvent plus cher dans une langue peu présente sur Internet ?
Question
Vous voulez connaître le coût exact d'un document envoyé à Claude. Quelle méthode utiliser ?
Avant de continuer
- Mon projet ai-engineer est prêt, avec ses bibliothèques et son .gitignore
- J'ai découpé des phrases en jetons et observé l'effet de la langue
- Je sais qu'un compte exact se fait avec la fonction de l'éditeur