IA Engineering
Sommaire · leçon 7 sur 139

Module 1 · Du modèle à l'assistant

Les modèles qui raisonnent, et comment choisir un modèle

Les modèles récents réfléchissent avant de répondre. Vous allez voir comment cette réflexion se règle et se paie, puis apprendre à choisir le bon modèle pour une application. Fin du premier module.

15 minLeçon 7 / 139

À la fin de cette leçon, vous saurez

  • Expliquer ce qu'est la réflexion d'un modèle et ce qu'elle coûte
  • Régler l'effort d'un modèle Claude
  • Choisir un modèle selon la qualité, la vitesse et le coût

Réfléchir avant de répondre

réflexionréponse

Vous savez qu'un modèle produit son texte jeton après jeton, et que chaque jeton s'appuie sur tous les précédents. Une conséquence simple en découle : écrire un raisonnement avant la réponse améliore la réponse, parce que chaque étape écrite sert d'appui à la suivante. C'est la technique « Avancer étape par étape » du parcours IA Essentiels.

Les modèles qui raisonnent font cela d'eux-mêmes. Avant la réponse visible, ils produisent une réflexion : ils décomposent le problème, essaient une piste, vérifient, se corrigent. Entraînés sur des problèmes vérifiables, comme décrit dans la leçon précédente, ils ont appris quelles façons de réfléchir mènent à la bonne réponse.

Le gain est net sur les tâches qui exigent du raisonnement : mathématiques, programmation, analyse, planification. Il est faible sur une simple reformulation.

Ce que coûte la réflexion

thinking 2 400 jetonstexte 350output_tokens = 2 750$ $

La réflexion est faite de jetons écrits. Elle est donc facturée et prend du temps, même si vous ne la voyez pas.

Avec Claude, vous l'avez remarqué dans la Passerelle : la réponse contient un bloc de type thinking, et output_tokens dépasse la longueur visible. Par défaut, ce bloc est vide : la réflexion a bien lieu, mais son texte n'est pas renvoyé. On peut en demander un résumé.

Régler l'effort

lowmediumhighmaxrapideapprofondiplus d'effort = plus de jetons, plus de temps

Plutôt qu'un nombre de jetons de réflexion, Anthropic propose de régler l'effort : une indication de la quantité de travail que le modèle doit fournir.

EffortUsage
lowTâches simples, réponses rapides, gros volumes
mediumValeur par défaut de claude-opus-5-5
highTâches exigeantes où la qualité prime
xhigh, maxProblèmes très difficiles, quand le coût importe peu

Avec ce modèle, la réflexion ne peut pas être désactivée : l'effort est le seul réglage.

Pratique : comparer deux niveaux d'effort

Créez effort.py dans ai-engineer. Ce programme nécessite une clé Claude.

Python
import anthropic
from dotenv import load_dotenv

load_dotenv()

client = anthropic.Anthropic()

QUESTION = (
    "Un commerçant achète 40 pagnes à 3 500 F pièce. Il en vend les trois quarts à 5 000 F "
    "et le reste à 4 000 F. Quel est son bénéfice ?"
)

for effort in ["low", "high"]:
    message = client.messages.create(
        model="claude-opus-5-5",
        max_tokens=16000,
        output_config={"effort": effort},
        thinking={"type": "adaptive", "display": "summarized"},
        messages=[{"role": "user", "content": QUESTION}],
    )
    for bloc in message.content:
        if bloc.type == "thinking":
            print(f"[{effort}] Réflexion résumée : {bloc.thinking[:200]}")
        elif bloc.type == "text":
            print(f"[{effort}] Réponse : {bloc.text}")
    print(f"[{effort}] Jetons écrits, réflexion comprise : {message.usage.output_tokens}\n")

Ce que fait chaque partie

output_config={…}
Les réglages de la réponse. effort s'y place, et non directement dans les paramètres de create.
thinking={…}
Le réglage de la réflexion. adaptive laisse le modèle décider de l'ampleur de sa réflexion ; display: summarized demande d'en renvoyer un résumé lisible.
bloc.type == 'thinking'
Le bloc de réflexion, cette fois rempli d'un résumé.
[:200]
On n'affiche que les 200 premiers caractères du résumé.

Pour chaque niveau d'effort, le programme affiche un résumé de la réflexion, la réponse, et le nombre de jetons écrits. Les deux réponses doivent donner un bénéfice de 50 000 F. Avec l'effort high, la réflexion est en général plus développée et le nombre de jetons écrits plus élevé. Les textes et les nombres varient d'une exécution à l'autre.

Vérifiez le calcul vous-même : 30 pagnes à 5 000 F, plus 10 à 4 000 F, moins 40 à 3 500 F. Sur un problème aussi simple, l'effort low suffit sans doute. C'est exactement le genre d'arbitrage que vous ferez dans vos applications.

Les limites qui demeurent

hallucinationsplausible ≠ vraidate limitefournir le récentcontexte longattention diluée

Raisonner réduit les erreurs, sans les supprimer. Gardez en tête les limites vues tout au long de ce module :

  • Les hallucinations : un jeton plausible n'est pas un jeton vrai, et un raisonnement bien présenté peut contenir une erreur.
  • La date limite de connaissances : sans information fournie, le modèle ignore le récent.
  • Les jetons : les langues peu représentées coûtent plus cher, et les lettres sont mal perçues.
  • Le contexte : un contexte trop long dilue l'attention et gonfle la facture.

Le travail d'un AI Engineer consiste en grande partie à concevoir autour de ces limites : fournir les bonnes informations, vérifier les sorties, mesurer la qualité. C'est le programme des modules suivants.

Choisir un modèle

qualitévitesseéconomiegrand · moyen · petit modèle

Les éditeurs proposent des familles de modèles, du plus capable au plus économique. Trois critères guident le choix :

CritèreQuestion à se poser
QualitéLa tâche exige-t-elle un raisonnement difficile, ou est-elle simple ?
VitesseL'utilisateur attend-il la réponse en direct, ou le traitement se fait-il en arrière-plan ?
CoûtCombien de requêtes par jour, avec quelle quantité de texte ?

Une démarche saine :

  1. Commencez avec un modèle performant, pour savoir ce qu'il est possible d'obtenir.
  2. Construisez un jeu de tests de quelques dizaines de cas réels, comme vous l'apprendrez dans le module sur l'évaluation.
  3. Essayez un réglage plus économique : un effort plus faible, ou un modèle plus léger, et mesurez si la qualité reste suffisante sur vos tests.
  4. Décidez sur des mesures, pas sur des impressions ni sur des classements publiés : la meilleure option dépend de votre tâche.

Vous avez terminé le premier module

jetonsvecteursattentionprobabilitésréponsemodule 1 terminé

Vous savez maintenant ce qui se passe entre votre requête et la réponse :

  • le texte est découpé en jetons, puis transformé en vecteurs ;
  • le Transformer et son mécanisme d'attention précisent le sens de chaque jeton, couche après couche ;
  • des probabilités sont calculées et un jeton est échantillonné, puis tout recommence ;
  • la fenêtre de contexte limite ce que le modèle lit, et chaque jeton lu ou écrit est facturé ;
  • pré-entraînement, ajustement et alignement expliquent ce que le modèle sait et comment il se comporte ;
  • les modèles qui raisonnent échangent du temps et des jetons contre de la qualité, réglable par l'effort.

Dans le module suivant, « Les API de modèles », vous approfondissez l'usage des API de Claude et de Gemini : réponses en continu, images et documents, mesure des coûts.

Vérifiez que vous avez compris

lowhighthinking…?

Question

Pourquoi les jetons de réflexion d'un modèle sont-ils facturés alors que leur texte n'est pas affiché par défaut ?

Question

Votre application classe des milliers de courts messages par jour en trois catégories. Quel réglage essayer en premier pour réduire le coût ?

Avant de continuer

  • Je sais ce qu'est la réflexion d'un modèle et pourquoi elle se paie
  • Je sais régler l'effort d'un modèle Claude
  • Je choisis un modèle en mesurant qualité, vitesse et coût sur mes propres tests