IA Engineering
Sommaire · leçon 8 sur 91

Module 1 · Les IA qui écrivent

Quand l'IA se trompe avec aplomb

Un assistant peut inventer un fait, une citation ou une référence, et le présenter avec une parfaite assurance. Comprendre pourquoi permet de s'en protéger.

8 minLeçon 8 / 91

À la fin de cette leçon, vous saurez

  • Expliquer ce qu'est une hallucination et d'où elle vient
  • Reconnaître les situations où le risque est le plus élevé
  • Appliquer trois réflexes de vérification

Un exemple pour commencer

M. le mairené le 12/03/1961ancien ingénieurinventé

Demandez à un assistant la biographie d'une personne peu connue, par exemple le maire d'une petite commune. Vous obtiendrez peut-être un texte fluide, bien construit, avec une date de naissance, un parcours, des réalisations.

Et il se peut que rien n'y soit vrai.

Ce phénomène porte un nom : une hallucination. L'assistant produit une information fausse, mais plausible, et la présente sur le même ton qu'une information exacte.

Pourquoi cela arrive

vraisemblable≠vraisouvent identiques… mais pas toujours

L'explication découle de la leçon précédente. Le modèle produit la suite la plus vraisemblable, pas la suite vraie.

Le plus souvent, les deux coïncident. La suite la plus vraisemblable de « La capitale de la France est » est « Paris », parce que le modèle l'a lu des millions de fois.

Mais quand il a peu ou pas d'informations sur un sujet, il ne s'arrête pas. Il continue de faire la seule chose qu'il sait faire : prolonger le texte de façon plausible. Une biographie « ressemble » à une suite de dates et de fonctions : il en fournit. Elles ont la forme attendue, pas le fond.

Trois points à bien comprendre.

Le modèle ne ment pas. Mentir suppose de connaître la vérité et de vouloir la cacher. Le modèle n'a ni l'un ni l'autre : il n'a pas de moyen interne fiable pour distinguer ce qu'il a retenu de ce qu'il vient de reconstituer.

Son assurance ne prouve rien. Le ton affirmatif est simplement le ton habituel des textes qu'il a lus. Une réponse fausse est rédigée avec la même aisance qu'une réponse juste.

Le phénomène recule, mais ne disparaît pas. Les modèles récents se trompent moins et reconnaissent plus souvent qu'ils ne savent pas. Aucun n'en est exempt.

Les situations à risque

1 234chiffres, dates“ ”citationspersonneshttps://liens

Le risque n'est pas le même partout. Redoublez d'attention dans ces cas.

SituationPourquoi le risque est élevé
Chiffres, dates, statistiquesUn nombre plausible s'invente très facilement
Citations et référencesLe modèle peut fabriquer un titre de livre, un auteur, un article de loi qui « sonnent » juste
Personnes ou lieux peu connusPeu d'exemples à l'entraînement, donc beaucoup de reconstitution
Événements récentsIls sont postérieurs à la fin de son entraînement
Sujets très spécialisésMédecine, droit, fiscalité : une erreur de détail change tout
Calculs longsLe modèle prédit des chiffres, il ne calcule pas comme une calculatrice

À l'inverse, le risque est faible quand vous lui demandez de travailler sur un texte que vous lui fournissez : résumer, reformuler, traduire, corriger. Il s'appuie alors sur ce qu'il a sous les yeux, pas sur sa mémoire.

Trois réflexes de vérification

1. l'enjeu2. une autre source3. ouvrir les lienslien ↗

Demandez-vous ce que coûterait une erreur

Une idée de menu pour ce soir : aucune vérification n'est nécessaire. Une posologie de médicament, une clause de contrat, un chiffre dans un rapport : la vérification est obligatoire. Ajustez votre vigilance à l'enjeu.

Vérifiez les faits précis à une source indépendante

Un nom, une date, un chiffre, une citation : retrouvez-les ailleurs, sur un site officiel, dans un ouvrage, auprès d'un professionnel. Demander à l'assistant « Es-tu sûr ? » ne suffit pas : il peut confirmer son erreur avec la même assurance, ou au contraire renier une réponse exacte.

Demandez les sources, puis ouvrez-les

Si l'assistant peut chercher sur Internet, demandez-lui les liens. Puis cliquez dessus. Il arrive qu'un lien n'existe pas, ou que la page ne dise pas ce que l'assistant lui fait dire.

Un module complet, « Esprit critique et sécurité », approfondira ces méthodes. Ces trois réflexes suffisent pour commencer sans danger.

Vérifiez que vous avez compris

?

Question

Un assistant vous donne une citation attribuée à un auteur célèbre, avec le titre du livre et la page. Que faites-vous ?

Avant de continuer

  • Je sais ce qu'est une hallucination
  • Je sais dans quelles situations redoubler de prudence
  • J'applique les trois réflexes : enjeu, source indépendante, liens ouverts