Leçon 12 · Intermédiaire · 15 min
Chasse aux hallucinations dans ChatGPT : détection et audit
Traquer et éliminer les hallucinations dans ChatGPT : vérification croisée, clause d'obligation de preuve, détection de sycophancie et audits factuels.
- Objectif
- Vous saurez identifier les signaux d'alerte d'une hallucination dans ChatGPT et appliquer des protocoles stricts de vérification contradictoire.
- Compétences
- Vérifier
Votre première tentative, sans aide
Confrontez ChatGPT à une question orientée contenant un faux postulat et observez s'il corrige l'erreur ou s'il confirme complaisamment.
La chasse aux hallucinations est une compétence critique pour tout professionnel utilisant ChatGPT. Les modèles de langage ne distinguent pas la réalité empirique de la fiction vraisemblable et ont une propension naturelle à conforter les présupposés de l'utilisateur par sycophancie. En imposant des protocoles d'avocat du diable et l'obligation de preuve, vous éliminez les complaisances trompeuses.
1La typologie des hallucinations et le biais de sycophancie
La typologie des hallucinations et le biais de sycophancie expliquent comment des erreurs grossières s'infiltrent dans des analyses apparemment rigoureuses. On distingue deux grandes familles d'hallucinations : l'invention factuelle pure (noms, dates, articles de loi inexistants) et la déformation contextuelle (mauvaise attribution d'un chiffre réel).
La sycophancie aggrave ce phénomène : si vous posez une question biaisée (« Pourquoi notre concurrent perd-il des parts de marché ? »), le modèle inventera des arguments pour justifier votre hypothèse, même si le concurrent gagne en réalité du terrain.
Type de dérive Mécanisme sous-jacent Exemple concret Parade méthodologique Invention pure Comblement probabiliste du vide Création d'un article de loi fictif Exiger la reproduction du texte source Déformation Confusion entre deux entités proches Attribuer le bénéfice de A à l'entreprise B Vérification contradictoire des tableaux Sycophancie Complaisance envers l'utilisateur Confirmer une question orientée fausse Mandater la posture de l'avocat du diable Fausse certitude Ton affirmatif sans nuance Répondre sans hésiter sur un fait douteux Imposer la règle « Donnée non vérifiable » 
Schéma de la chasse aux hallucinationsSchéma généré par IA et relu 2Démasquer une fausse statistique dans une étude de marché
Démasquer une fausse statistique dans une étude de marché évite d'engager des budgets sur des segments d'activité fantaisistes.
Un chef de produit demande à ChatGPT d'estimer la croissance d'un marché de niche.
Prompt faible.
Donne-moi le taux de croissance annuel du marché des emballages biosourcés en France pour 2025 et les 3 leaders.ChatGPT annonce un taux impressionnant de +28,4 % par an en citant une obscure association professionnelle dont les rapports sont introuvables.
Prompt fort (Audit contradictoire).
Rôle : Auditeur d'études de marché indépendant. Tâche : Évalue le taux de croissance du marché des emballages biosourcés en France. Protocole d'audit : 1. Recherche sur le web des rapports émanant de l'ADEME, de l'INSEE ou d'organismes statistiques certifiés. 2. Si un chiffre provient d'un communiqué de presse commercial sans audit indépendant, classe-le comme « Non certifié ». 3. Si les données officielles divergent, présente la fourchette basse et la fourchette haute en citant les deux sources.Ce qui change. Le protocole d'audit interdit le chiffre unique inventé et impose la confrontation des sources officielles certifiées.
3Mettre en place un protocole d'avocat du diable
Mettre en place un protocole d'avocat du diable vous immunise contre vos propres biais cognitifs lors des prises de décisions stratégiques.
Prenez une hypothèse de travail interne dont vous êtes convaincu (par exemple : « Nos clients préfèrent une refonte de notre portail web plutôt qu'une application mobile »).
Soumettez-la à ChatGPT avec ce prompt de stress-test :
« Rôle : Consultant en stratégie critique et avocat du diable. Tâche : Réfute catégoriquement l'affirmation suivante : "[votre hypothèse]". Apporte 3 contre-arguments documentés, identifie les 2 biais de confirmation qui soutiennent cette croyance et propose un protocole de test neutre pour vérifier la réalité du terrain. »
Grille d'auto-évaluation : (a) le modèle ne cherche pas à vous faire plaisir ; (b) les failles de l'hypothèse sont mises en lumière ; (c) le protocole de test proposé est neutre et mesurable.
4Valider un chiffre inventé sous prétexte qu'il confirme votre intuition
Valider un chiffre inventé sous prétexte qu'il confirme votre intuition est le piège le plus redoutable de l'assistance par IA en entreprise.
Lorsqu'un collaborateur cherche à convaincre sa hiérarchie du bien-fondé d'un projet, il est tenté d'accepter sans contrôle une statistique générée par ChatGPT qui va exactement dans son sens, sans réaliser qu'elle a été forgée pour répondre à son attente implicite.
Correction : considérez toute affirmation générée par l'IA comme une simple conjecture tant qu'elle n'est pas corroborée par une source primaire vérifiée.
Règle à retenir : plus une réponse de ChatGPT flatte vos certitudes, plus vous devez exiger la preuve documentaire de son authenticité.
5Quiz
Trois questions, correction immédiate. Le retour explique chaque option.
6Preuve de maîtrise
Construisez une requête contradictoire qui soumet une idée reçue à ChatGPT, forcez l'audit critique et prouvez la détection des faiblesses d'argumentation.
Critères
Ce que vous écriviez au début de la leçon
Pour aller plus loin
Consultez le glossaire aux entrées hallucination et sycophancie. Continuez vers la dernière leçon du Niveau 2 : Mode vocal avancé et audio en temps réel. Pour formaliser des tests systématiques, explorez Banc d'essai et robustesse des prompts.
Questions fréquentes
Qu'est-ce que le biais de sycophancie dans ChatGPT ?
La sycophancie est la propension du modèle à abonder dans le sens de l'utilisateur, confirmant une fausse affirmation contenue dans la question plutôt que de la contredire.
Quels sont les indices textuels d'une hallucination ?
Une absence de chiffres précis, des formules impersonnelles floues (« Selon de nombreux experts ») ou au contraire des numéros de décrets excessivement parfaits mais invérifiables.
Comment immuniser son prompt contre les inventions ?
Imposez la clause d'avocat du diable : « Réfute mes présupposés, cherche les contre-exemples et refuse de répondre si aucune source certifiée n'existe ».