Sommaire · leçon 8 sur 91
Module 1 · Les IA qui écrivent
Quand l'IA se trompe avec aplomb
Un assistant peut inventer un fait, une citation ou une référence, et le présenter avec une parfaite assurance. Comprendre pourquoi permet de s'en protéger.
À la fin de cette leçon, vous saurez
- Expliquer ce qu'est une hallucination et d'où elle vient
- Reconnaître les situations où le risque est le plus élevé
- Appliquer trois réflexes de vérification
Un exemple pour commencer
Demandez à un assistant la biographie d'une personne peu connue, par exemple le maire d'une petite commune. Vous obtiendrez peut-être un texte fluide, bien construit, avec une date de naissance, un parcours, des réalisations.
Et il se peut que rien n'y soit vrai.
Ce phénomène porte un nom : une hallucination. L'assistant produit une information fausse, mais plausible, et la présente sur le même ton qu'une information exacte.
Pourquoi cela arrive
L'explication découle de la leçon précédente. Le modèle produit la suite la plus vraisemblable, pas la suite vraie.
Le plus souvent, les deux coïncident. La suite la plus vraisemblable de « La capitale de la France est » est « Paris », parce que le modèle l'a lu des millions de fois.
Mais quand il a peu ou pas d'informations sur un sujet, il ne s'arrête pas. Il continue de faire la seule chose qu'il sait faire : prolonger le texte de façon plausible. Une biographie « ressemble » à une suite de dates et de fonctions : il en fournit. Elles ont la forme attendue, pas le fond.
Trois points à bien comprendre.
Le modèle ne ment pas. Mentir suppose de connaître la vérité et de vouloir la cacher. Le modèle n'a ni l'un ni l'autre : il n'a pas de moyen interne fiable pour distinguer ce qu'il a retenu de ce qu'il vient de reconstituer.
Son assurance ne prouve rien. Le ton affirmatif est simplement le ton habituel des textes qu'il a lus. Une réponse fausse est rédigée avec la même aisance qu'une réponse juste.
Le phénomène recule, mais ne disparaît pas. Les modèles récents se trompent moins et reconnaissent plus souvent qu'ils ne savent pas. Aucun n'en est exempt.
Les situations à risque
Le risque n'est pas le même partout. Redoublez d'attention dans ces cas.
| Situation | Pourquoi le risque est élevé |
|---|---|
| Chiffres, dates, statistiques | Un nombre plausible s'invente très facilement |
| Citations et références | Le modèle peut fabriquer un titre de livre, un auteur, un article de loi qui « sonnent » juste |
| Personnes ou lieux peu connus | Peu d'exemples à l'entraînement, donc beaucoup de reconstitution |
| Événements récents | Ils sont postérieurs à la fin de son entraînement |
| Sujets très spécialisés | Médecine, droit, fiscalité : une erreur de détail change tout |
| Calculs longs | Le modèle prédit des chiffres, il ne calcule pas comme une calculatrice |
À l'inverse, le risque est faible quand vous lui demandez de travailler sur un texte que vous lui fournissez : résumer, reformuler, traduire, corriger. Il s'appuie alors sur ce qu'il a sous les yeux, pas sur sa mémoire.
Trois réflexes de vérification
Demandez-vous ce que coûterait une erreur
Une idée de menu pour ce soir : aucune vérification n'est nécessaire. Une posologie de médicament, une clause de contrat, un chiffre dans un rapport : la vérification est obligatoire. Ajustez votre vigilance à l'enjeu.
Vérifiez les faits précis à une source indépendante
Un nom, une date, un chiffre, une citation : retrouvez-les ailleurs, sur un site officiel, dans un ouvrage, auprès d'un professionnel. Demander à l'assistant « Es-tu sûr ? » ne suffit pas : il peut confirmer son erreur avec la même assurance, ou au contraire renier une réponse exacte.
Demandez les sources, puis ouvrez-les
Si l'assistant peut chercher sur Internet, demandez-lui les liens. Puis cliquez dessus. Il arrive qu'un lien n'existe pas, ou que la page ne dise pas ce que l'assistant lui fait dire.
Un module complet, « Esprit critique et sécurité », approfondira ces méthodes. Ces trois réflexes suffisent pour commencer sans danger.
Vérifiez que vous avez compris
Question
Un assistant vous donne une citation attribuée à un auteur célèbre, avec le titre du livre et la page. Que faites-vous ?
Avant de continuer
- Je sais ce qu'est une hallucination
- Je sais dans quelles situations redoubler de prudence
- J'applique les trois réflexes : enjeu, source indépendante, liens ouverts