IA Engineering
Sommaire · leçon 6 sur 139

Module 1 · Du modèle à l'assistant

Comment on entraîne un modèle

Un modèle qui prédit le jeton suivant n'est pas encore un assistant. Trois étapes d'entraînement le transforment en interlocuteur utile et prudent. Les comprendre explique ses forces, ses travers et sa date de connaissances.

13 minLeçon 6 / 139

À la fin de cette leçon, vous saurez

  • Décrire les trois étapes : pré-entraînement, ajustement, alignement
  • Expliquer d'où viennent les connaissances d'un modèle et pourquoi elles s'arrêtent à une date
  • Relier ces étapes à des comportements observables

Trois étapes

1pré-entraînement2ajustement3alignementdu texte brut à un assistant utile

Les modèles des éditeurs passent par trois grandes étapes. Les détails varient et ne sont pas tous publiés, mais le schéma général est partagé.

  1. 1

    Pré-entraînement

    Des milliers de milliards de jetons de textes publics

    Un modèle qui prolonge n'importe quel texte

  2. 2

    Ajustement

    Des centaines de milliers d'exemples de questions et de bonnes réponses

    Un modèle qui répond aux demandes

  3. 3

    Alignement

    Des préférences et des principes : quelle réponse est meilleure, et pourquoi

    Un assistant utile, honnête et prudent

Chaque étape part du modèle produit par la précédente. La première coûte de loin le plus cher ; les deux suivantes façonnent son comportement.

1. Le pré-entraînement

web, livres, code…jeton suivant?× des milliers de milliards

Le modèle apprend une seule tâche : prédire le jeton suivant, sur une quantité gigantesque de textes, de l'ordre de plusieurs milliers de milliards de jetons : pages web publiques, livres, articles, code.

À chaque prédiction, son erreur est mesurée et ses paramètres sont légèrement ajustés, comme vous l'avez vu dans IA Essentiels. Répété sur des milliers de milliards d'exemples, sur des milliers de processeurs pendant des semaines, ce mécanisme simple produit un modèle qui a absorbé la grammaire de nombreuses langues, une immense quantité de faits, des schémas de raisonnement, des styles d'écriture.

Ce modèle de base n'est pas un assistant. Posez-lui une question : il risque de la prolonger par d'autres questions, comme on en trouve dans une liste de questions d'examen. Il continue un texte ; il ne répond pas.

La date de connaissances

Les textes du pré-entraînement sont rassemblés jusqu'à une certaine date, appelée date limite de connaissances (knowledge cutoff). Le modèle ignore tout ce qui s'est passé après, sauf si on lui fournit l'information dans le contexte ou s'il dispose d'un outil de recherche.

Conséquence pratique : pour toute information récente ou susceptible d'avoir changé, votre application doit la fournir au modèle, plutôt que de compter sur sa mémoire. C'est l'un des rôles du RAG et des outils.

2. L'ajustement

demanderéponse attenduerédigé ou vérifiéformatd'assistant

Pour obtenir un assistant, on poursuit l'entraînement sur des exemples de conversations : une demande, puis la réponse attendue, rédigés ou vérifiés par des personnes. On l'appelle ajustement supervisé, ou fine-tuning.

Le modèle n'apprend presque rien de nouveau sur le monde : il apprend une forme. Répondre à la question posée, suivre une consigne, respecter un format, s'arrêter quand c'est fini.

C'est aussi à cette étape qu'il apprend les rôles system, user et assistant que vous avez manipulés dans la Passerelle : ce sont des marqueurs insérés dans le texte, qui lui indiquent qui parle.

3. L'alignement

utilehonnêteprudent

Dernière étape : rendre le modèle utile, honnête et prudent. On lui présente plusieurs réponses à une même demande, et on lui apprend à préférer les meilleures. Les jugements viennent de personnes, ou de modèles guidés par des principes écrits.

Les méthodes ont plusieurs noms. La plus connue est l'apprentissage par renforcement à partir de retours humains, en anglais Reinforcement Learning from Human Feedback ou RLHF. Anthropic a par exemple publié une approche où le modèle est guidé par un ensemble de principes, une sorte de constitution.

Cette étape explique des comportements que vous observez tous les jours :

ComportementOrigine
L'assistant refuse certaines demandes dangereusesIl a appris à préférer le refus dans ces cas
Il signale parfois ses incertitudesL'honnêteté est récompensée pendant l'alignement
Il a tendance à vous donner raisonLes réponses agréables ont pu être préférées par les évaluateurs, un biais que les éditeurs s'efforcent de corriger
Il structure volontiers ses réponses en listes et en titresCe style a été préféré par les évaluateurs

Vous reconnaissez la complaisance étudiée dans IA Essentiels : elle est en partie un effet secondaire de l'alignement.

Et l'apprentissage par renforcement sur des problèmes vérifiables

essaievérifierenforce2+2=4tests ✓

Les modèles les plus récents reçoivent un entraînement supplémentaire sur des problèmes dont on peut vérifier automatiquement la réponse : un calcul juste ou faux, un programme qui passe ses tests ou non. Le modèle essaie, la vérification dit s'il a réussi, et les tentatives réussies sont renforcées.

C'est ce qui a produit les modèles qui raisonnent, capables de réfléchir longuement avant de répondre. La leçon suivante leur est consacrée.

Ce qu'un AI Engineer en retient

savoir arrêté à une date→ fournir le récentformat appris→ donner des exemplescomplaisance→ demander la critiqueentraîner un grand modèle coûte des centaines de millions de dollars

Vous n'entraînerez sans doute jamais un grand modèle : cela coûte des dizaines ou des centaines de millions de dollars. Mais ces étapes guident vos choix :

  • ce que le modèle sait vient du pré-entraînement : pour le récent ou le spécifique, fournissez l'information ;
  • la façon dont il répond vient de l'ajustement et de l'alignement : une bonne consigne système suffit presque toujours à l'orienter ;
  • ajuster soi-même un modèle est possible chez certains éditeurs, mais c'est rarement la première solution : un meilleur prompt, des exemples, ou des documents fournis par le RAG donnent souvent le résultat voulu pour bien moins cher.

Vérifiez que vous avez compris

123?

Question

Votre application doit répondre sur les tarifs de votre entreprise, mis à jour chaque mois. Que faites-vous ?

Question

Quelle étape apprend au modèle à répondre à une question plutôt qu'à la prolonger ?

Avant de continuer

  • Je sais décrire les trois étapes de l'entraînement
  • Je sais pourquoi un modèle a une date limite de connaissances et comment la compenser
  • Je relie des comportements observables, comme la complaisance, à l'alignement