IA Engineering
Sommaire · leçon 4 sur 139

Module 1 · Produire du texte

Probabilités et échantillonnage

À la sortie du Transformer, le modèle ne choisit pas un mot : il attribue une probabilité à chacun. Comment on passe de ces probabilités au texte final, et ce que règle la fameuse température.

14 minLeçon 4 / 139

À la fin de cette leçon, vous saurez

  • Expliquer comment des scores deviennent des probabilités
  • Simuler l'effet de la température sur le choix du jeton suivant
  • Savoir quels réglages de génération les API actuelles acceptent

Des scores aux probabilités

dort3.040%mange2.627%joue2.218%softmaxscoresprobabilitéspuis un tirage au sort pondéré

À la fin de la dernière couche, le modèle produit un score pour chaque jeton de son vocabulaire : un nombre d'autant plus élevé que le jeton lui paraît adapté pour continuer le texte. Ces scores, appelés logits, peuvent être négatifs et n'ont pas d'échelle commune.

Une opération mathématique, la fonction softmax, les transforme en probabilités : des nombres positifs dont la somme vaut 100 %. Le jeton au score le plus élevé reçoit la plus forte probabilité.

Reste à choisir un jeton. Deux stratégies sont possibles :

  • toujours prendre le plus probable : le texte est stable, mais vite plat et répétitif ;
  • tirer au sort selon les probabilités, ce qu'on appelle échantillonner : le jeton le plus probable sort le plus souvent, mais d'autres ont leur chance. Le texte est plus naturel et plus varié.

Les modèles de langage échantillonnent. C'est pourquoi la même question donne des réponses différentes.

La température

bassemoyennehautepréciscréatif

La température règle l'étalement des probabilités avant le tirage. On divise les scores par la température avant d'appliquer la softmax :

TempératureEffet sur les probabilitésEffet sur le texte
Basse, proche de 0Le jeton favori écrase les autresPrévisible, répétitif
1Probabilités inchangéesÉquilibré
Élevée, au-delà de 1Les écarts se resserrentVarié, puis incohérent

Pratique : simuler la température

candidats = ["dort", …]for t in (0.2, 1, 2): tirer(scores / t)0.2 → dort dort dort2 → joue télescope2.01.00.2

Reprenons l'exemple du parcours IA Essentiels : « Le chat est sur le canapé et il… ». Créez temperature.py.

Python
import numpy as np

candidats = ["dort", "mange", "joue", "ronronne", "télescope"]
scores = np.array([3.0, 2.6, 2.2, 1.5, -4.0])


def probabilites(scores, temperature):
    """Transforme des scores en probabilités (fonction softmax), réglées par la température."""
    ajustes = scores / temperature
    exp = np.exp(ajustes - ajustes.max())
    return exp / exp.sum()


for temperature in [0.2, 1.0, 2.0]:
    p = probabilites(scores, temperature)
    ligne = "  ".join(f"{mot} {proba:5.1%}" for mot, proba in zip(candidats, p))
    print(f"T = {temperature} : {ligne}")

generateur = np.random.default_rng(seed=42)
for temperature in [0.2, 1.0, 2.0]:
    tirages = generateur.choice(candidats, size=10, p=probabilites(scores, temperature))
    print(f"10 tirages à T = {temperature} :", " ".join(tirages))

Ce que fait chaque partie

scores
Des scores inventés pour l'exemple : « dort » est favori, « télescope » très improbable.
scores / temperature
La température agit ici. Diviser par un petit nombre creuse les écarts ; diviser par un grand nombre les réduit.
np.exp(…)
La fonction exponentielle rend tous les scores positifs, en amplifiant les écarts. Soustraire le maximum évite des nombres trop grands pour l'ordinateur, sans changer le résultat.
exp / exp.sum()
Divise par la somme : les probabilités totalisent 100 %. C'est la softmax.
{proba:5.1%}
Affiche le nombre en pourcentage, avec une décimale.
default_rng(seed=42)
Un générateur de hasard avec une graine fixe : les tirages sont identiques à chaque exécution, ce qui permet de comparer.
choice(…, p=…)
Tire dix fois un candidat, chacun selon sa probabilité : exactement ce que fait le modèle à chaque jeton.
Ce que le terminal affiche
T = 0.2 : dort 86.6%  mange 11.7%  joue  1.6%  ronronne  0.0%  télescope  0.0%
T = 1.0 : dort 42.7%  mange 28.6%  joue 19.2%  ronronne  9.5%  télescope  0.0%
T = 2.0 : dort 33.4%  mange 27.4%  joue 22.4%  ronronne 15.8%  télescope  1.0%
10 tirages à T = 0.2 : dort dort dort dort dort mange dort dort dort dort
10 tirages à T = 1.0 : dort ronronne mange joue mange dort mange dort joue mange
10 tirages à T = 2.0 : joue mange ronronne ronronne joue dort mange dort dort joue

À basse température, « dort » sort neuf fois sur dix. À température élevée, les quatre candidats plausibles se partagent les tirages, et « télescope », absurde, atteint 1 % : sur une réponse de mille jetons, ce genre d'incongruité finit par arriver. Une température trop haute produit du texte incohérent.

Ce qui découle de l'échantillonnage

Paris est la capitale.La capitale ? Paris.≠test mot pour mot→ on évaluera le sens (module Évaluation)

Une réponse n'est pas reproductible. Deux exécutions identiques donnent deux textes différents. Pour tester une application d'IA, on ne peut donc pas comparer une réponse à un texte attendu mot pour mot. Le module sur l'évaluation y est consacré.

Une erreur peut être tirée au sort. Un fait inexact qui a quelques pourcents de probabilité finira par sortir. C'est l'une des origines des hallucinations : le jeton tiré est vraisemblable, pas nécessairement vrai.

La forme peut être imposée autrement. Quand on a besoin d'une réponse dans un format strict, on ne compte pas sur une température basse : on utilise les sorties structurées, qui contraignent les jetons autorisés. Un module entier du parcours leur est consacré.

Les réglages dans les API actuelles

temperaturetop_ptop_kClaude récentseffort : low…max

Pendant longtemps, les API proposaient de régler la température, ainsi que d'autres paramètres d'échantillonnage appelés top_p et top_k. La situation a évolué avec les modèles qui raisonnent.

  • Les modèles Claude récents, dont claude-opus-5-5, n'acceptent plus ces paramètres : une requête qui contient temperature est refusée avec une erreur 400. Anthropic propose à la place de régler l'effort, c'est-à-dire la quantité de réflexion du modèle, que vous verrez dans la dernière leçon du module.
  • D'autres API acceptent encore une température, selon les modèles. Consultez la documentation du modèle que vous utilisez avant de régler quoi que ce soit.

Vérifiez que vous avez compris

?

Question

Que se passe-t-il quand on abaisse fortement la température ?

Question

Votre programme envoie temperature=0.2 à claude-opus-5-5 et reçoit une erreur 400. Pourquoi ?

Avant de continuer

  • Je sais comment des scores deviennent des probabilités, puis un jeton tiré au sort
  • J'ai observé l'effet de la température sur des tirages simulés
  • Je sais que les modèles Claude récents n'acceptent plus de température