Leçon 12 · Intermédiaire · 20 min
Chasse aux hallucinations : exercice sur sortie truquée
Chasse aux hallucinations : une sortie Copilot truquée avec quatre erreurs plantées à repérer, leur correction, la méthode de vérification, exercice et quiz.
- Objectif
- Vous saurez repérer dans une réponse un fait faux, une référence inventée, un chiffre déformé et un raisonnement circulaire, choisir la vérification adaptée à chacun, et écrire le prompt qui les empêche.
- Compétences
- Vérifier
Votre première tentative, sans aide
Demandez à Copilot Chat trois références sur un sujet de votre métier, avec auteur, année et lien. Ouvrez les trois liens, un par un, avant de lire la suite. Comptez celles qui tiennent.
Une hallucination est une réponse plausible mais fausse : un fait déformé, une référence qui n'existe pas, un chiffre sans provenance, un raisonnement qui tourne en rond. Elle se repère à un signal simple, la précision sans source, et se vérifie de quatre façons : contre le document joint, en ouvrant le lien, en recalculant, en testant la logique. Le prompt qui la prévient limite la source et autorise « non trouvé ».
1Quatre familles d'erreurs et leur vérification
Un modèle de langage prédit le texte le plus plausible. Il ne consulte pas une base de faits, et quand le prompt exige une précision que la source ne contient pas, il la complète. Microsoft le rappelle en tête de ses conseils : toujours relire et vérifier. Demander au modèle de se corriger seul ne suffit pas : la recherche montre que, sans retour externe, l'autocorrection dégrade souvent la réponse.
Quatre familles d'erreurs reviennent. Le fait faux : une date, un nom ou une condition modifiés par rapport à la source. La référence inventée : une étude, un rapport ou un article qui n'existent pas, ou qui ne disent pas cela. Le chiffre déformé : 68 % des répondants devient 86 % des salariés. Le raisonnement circulaire : la conclusion répète la prémisse, « cette mesure améliore la productivité puisque les salariés sont plus productifs ».
À chaque famille sa vérification. Le fait se confronte au document joint, passage par passage. La référence se cherche : lien ouvert ou elle n'existe pas. Le chiffre se recalcule, en vérifiant la base (répondants ou salariés). Le raisonnement se teste : la conclusion apporte-t-elle une information absente de la prémisse ?
Le signal qui déclenche la vérification est toujours le même : de la précision sans provenance. Un pourcentage, une année, un nom d'organisme, un « selon une étude » sans lien. Le ton assuré n'est pas un indice de fiabilité.
Schéma « Chasse aux hallucinations en quatre gestes »Schéma généré par IA et relu 2Un résumé de note où rien ne vient d'ailleurs
Une responsable RH demande un résumé d'une note interne jointe, note_teletravail.docx, pour le comité de direction.
Prompt faible :
Résume cette note en cinq puces pour la direction.Réponse résumée : cinq puces fluides, dont une référence à un rapport externe absent de la note, un pourcentage arrondi et une date décalée, sans rien qui distingue la note de l'ajout.
Prompt fort :
Résume note_teletravail.docx en cinq puces pour le comité de direction. Appuie-toi exclusivement sur ce fichier : n'ajoute aucune référence, aucun chiffre ni aucune date qui n'y figure pas. Pour chaque puce, cite entre parenthèses le passage de la note utilisé. Si une information manque, écris « non trouvé ». Termine par une liste « Points à faire vérifier par un humain ».Réponse résumée : cinq puces, chacune suivie de sa citation, aucune référence externe, le pourcentage exact avec sa base, et une liste finale qui pointe la date d'entrée en vigueur et l'échéance d'évaluation.
Ce qui change : la source est limitée, donc rien ne peut venir d'ailleurs. Chaque puce est traçable en dix secondes. Le manque a une sortie honnête, « non trouvé », au lieu d'une invention.
3Trouvez les quatre erreurs plantées dans un résumé
Voici la note source, fictive, puis une sortie truquée qui contient quatre erreurs plantées. Entourez-les avant de lire la correction, et notez pour chacune la vérification que vous utiliseriez.
La note : « Note interne du 12 septembre 2026. À compter du 1er mars 2027, le télétravail passe de un à deux jours par semaine pour les salariés éligibles, sur la base du volontariat. L'enquête interne de juin 2026 (412 répondants sur 650 salariés) montre que 68 % des répondants souhaitent deux jours. Le mardi reste une journée de présence obligatoire. Une évaluation sera présentée au comité social et économique en septembre 2027. »
La sortie truquée :
- Le télétravail passe à deux jours par semaine à compter du 1er janvier 2027 pour les salariés éligibles, sur la base du volontariat.
- L'enquête interne de juin 2026 montre que 86 % des salariés souhaitent deux jours.
- Selon l'Observatoire national du télétravail (rapport 2025), cette organisation réduit l'absentéisme de 12 %.
- Cette mesure améliorera la productivité, puisque des salariés plus productifs travaillent mieux à distance.
- Le mardi reste une journée de présence obligatoire ; une évaluation sera présentée au CSE en septembre 2027.
Correction. Puce 1, fait faux : la note dit 1er mars 2027, pas 1er janvier ; vérification par confrontation au document. Puce 2, chiffre déformé : 68 % des répondants (412 sur 650) est devenu 86 % des salariés ; vérification par recalcul et contrôle de la base. Puce 3, référence inventée : aucun observatoire ni rapport dans la note, aucun lien ; vérification par recherche, et retrait tant qu'aucun lien ouvert ne la confirme. Puce 4, raisonnement circulaire : la conclusion répète la prémisse et la note ne parle pas de productivité ; vérification par test logique. La puce 5 est exacte : ne la signalez pas, un faux positif coûte aussi du temps.
Réécrivez ensuite le prompt de départ « Résume cette note en cinq puces » avec la limitation à la source, la citation par puce, la consigne « non trouvé » et la liste des points à faire vérifier. Le composeur ci-dessous vous guide sur les champs Sources et Vérification.
Grille d'auto-évaluation : (a) les quatre erreurs sont repérées, sans faux positif ; (b) chaque erreur a sa méthode de vérification ; (c) le prompt corrigé ferme la porte aux inventions.
4Le chiffre à l'euro près qui n'a aucune source
« Quel est le chiffre d'affaires de notre principal concurrent ? » Copilot donne un montant précis, à l'euro près, sans source. Ce qu'il fallait voir : la précision apparente sans provenance. Correction : « Cherche le chiffre d'affaires 2025 publié par ce concurrent. Donne le montant, l'exercice, la source (rapport annuel, site officiel, presse économique) et le lien. Si tu ne trouves qu'une estimation, indique-le et cite qui l'a estimée. » Puis ouvrez le lien. Règle à retenir : tout chiffre sans source est une hypothèse, pas une donnée.
5Quiz
Trois questions, correction immédiate. Le retour explique chaque option.
6Preuve de maîtrise
Collez la sortie truquée annotée (les quatre erreurs repérées, avec pour chacune la méthode de vérification utilisée), puis votre prompt corrigé et la réponse obtenue.
Critères
Ce que vous écriviez au début de la leçon
Pour aller plus loin
La leçon sur la recherche web montre comment exiger des liens et des dates, et celle sur la comparaison de deux réponses place l'exactitude en tête de la grille. Le terme hallucination est défini dans le glossaire.
Questions fréquentes
Pourquoi Copilot invente-t-il ?
Un modèle de langage prédit le texte le plus plausible ; il ne consulte pas une base de faits. Quand le prompt exige une précision que la source ne contient pas, il la complète. La parade est de fournir la source, de limiter la réponse à cette source et d'autoriser « non trouvé ».
Le mode Think deeper supprime-t-il les hallucinations ?
Non. Microsoft décrit ce mode comme un modèle de raisonnement qui planifie et vérifie son travail, ce qui réduit certaines erreurs, mais aucun mode ne garantit l'exactitude. La vérification contre la source reste votre travail.
Une citation cliquable prouve-t-elle l'affirmation ?
Non. Elle indique la page consultée, pas ce que le modèle en a retenu. Ouvrez le lien et vérifiez que la page dit bien ce que la réponse lui fait dire, à la date indiquée.