Leçon 22 · Expert · 20 min
Évaluer un prompt sur un jeu de dix cas
Mesurer un prompt plutôt que le ressentir : dix cas avec réponse attendue, trois passages, une règle modifiée à la fois, et un score comparé.
- Objectif
- Vous saurez constituer un jeu de dix cas avec réponse attendue, mesurer un prompt sur trois passages et attribuer chaque gain à une modification isolée.
- Compétences
- Vérifier
Un jeu de test est un tableau de dix cas réalistes, chacun avec la réponse attendue écrite avant de lancer quoi que ce soit. Vous passez votre prompt trois fois sur les dix cas, vous comptez les réponses justes, vous modifiez une seule règle, vous recommencez. Le score remplace l'impression. C'est ce qui permet de dire à un collègue « ce prompt réussit neuf cas sur dix » plutôt que « il marche bien ».
1Dix cas, trois passages, un score au lieu d'un avis
Anthropic ouvre son guide de prompt engineering par un conseil que peu de gens suivent : définir d'abord un critère de succès et un moyen de le tester, puis seulement travailler le prompt. Sans mesure, chaque modification est un pari, et l'on garde celle qui a plu au dernier essai. Avec dix cas et un score, la discussion change de nature : on compare des chiffres.
Constituer le jeu demande environ une heure. Choisissez dix entrées représentatives, fictives ou anonymisées : six cas ordinaires, trois cas difficiles (double sujet, donnée manquante, ambiguïté) et un cas piège dont la réponse attendue est « non trouvé ».
Écrivez impérativement la réponse attendue avant tout passage. Sans cela, vous jugerez Copilot à son assurance plutôt qu'à son exactitude. Le score correspond simplement au nombre de cas validés sur dix.
Pourquoi trois passages ? Parce qu'une même demande produit des réponses différentes d'une fois à l'autre. Wang et ses coauteurs ont construit une méthode entière, l'auto-cohérence, sur cette variabilité : plusieurs passages puis un vote améliorent nettement le résultat. Pour vous, trois passages donnent une fourchette (8, 9, 8) au lieu d'un chiffre trompeur.
La règle d'or est l'isolement : une seule modification entre deux séries. Si vous changez la règle de doute et ajoutez un exemple simultanément, le gain éventuel reste inexplicable. Microsoft recommande d'itérer et de régénérer ; le banc d'essai arbitre objectivement quel essai conserver.
Faites relire les résultats par un pair à l'aveugle. Huang et ses coauteurs ont démontré que les modèles se corrigent mal sans retour externe. Le même biais guette l'auteur du prompt, naturellement complaisant envers sa propre révision.
Schéma « Évaluer un prompt sur un jeu de test »Schéma généré par IA et relu 2Un classement de messages passé de 5 à 9 sur 10
Une équipe support veut classer les messages d'une boîte générique dans cinq catégories.
Tour 1 (Évaluation du prompt générique sur le banc de dix cas).
Classe ces messages par catégorie. Messages : [dix messages fictifs]Sur trois passages, les scores sont 5/10, 6/10 et 5/10. Copilot invente des catégories différentes à chaque passage, classe un message dans deux catégories et attribue une catégorie au cas piège, qui n'en a aucune.
Tour 2 (Ajout d'une règle de priorité univoque et mesure du gain).
Classe chacun des messages ci-dessous dans une seule catégorie parmi : Facturation, Livraison, Réclamation produit, Demande d'information, Autre. Si un message relève de deux catégories, choisis celle qui demande une action et signale-le par un astérisque. En cas de double sujet, la réclamation l'emporte toujours sur la simple question. Si tu hésites, classe en Autre et explique en cinq mots. Sortie : tableau Numéro, Catégorie, Justification en une phrase. Messages : [dix messages fictifs]Sur les trois séries de validation, les scores montent à 9/10, 10/10 et 9/10. L'arbitrage explicite a permis de traiter parfaitement les cas mixtes sans dégrader le cas piège.
Ce qui change. Les catégories fermées suppriment l'invention. La règle de doute donne au modèle une sortie honnête au lieu d'une devinette. Le score, mesuré avant et après une modification isolée, prouve que la règle ajoutée est la bonne, et le tableau devient la fiche de test que l'équipe conserve.
3Mesurez un prompt de tri avant et après une règle
Voici un jeu d'essai prêt à l'emploi de dix messages reçus par le service client de « NovaTech SAS », avec la réponse attendue pour chacun :
N° Message client reçu Résumé attendu Urgence attendue 1 « Quel est le délai habituel pour 5 fauteuils Nova-Pro ? Merci. » Demande de délai de livraison pour 5 fauteuils Normal 2 « URGENT : Serveur d'accueil bloqué, commande #NT-901 sans câbles, ouverture demain 8h ! » Câbles réseau manquants avant ouverture demain Urgent 3 « Pourriez-vous me réexpédier la facture acquittée de notre commande de juillet ? » Demande de duplicata de facture acquittée Normal 4 « Colis #NT-908 reçu trempé et éventré. Deux bureaux rayés, refus de signature. » Livraison endommagée et refus de signature Urgent 5 « Les plateaux des tables de réunion existent-ils en finition chêne clair ? » Disponibilité de la finition chêne clair Normal 6 « Je cherche le manuel de montage du fauteuil Alpha-2 reçu le mois dernier. » Demande du manuel d'utilisation du fauteuil Normal 7 « Déménagement dans 24 h et nos 10 armoires commandées ne sont pas arrivées ! » 10 armoires non reçues à 24 h d'un déménagement Urgent 8 « Devis #DEV-4412 bien reçu, nous le signerons la semaine prochaine après notre CA. » Confirmation de réception de devis avec signature prochaine Normal 9 « Besoin d'un tiroir en plus, mais surtout commande #NT-915 bloquée en douane pour vendredi ! » Commande bloquée à dédouaner sous 48 h et demande de tiroir Urgent 10 « Bonjour, suite au salon professionnel, voici notre catalogue d'emballages recyclés. » Démarchage fournisseur d'emballages sans demande client Normal Le bouton « Charger l'exercice » du composeur préremplit le prompt de départ faible :
« Résume ce message client en une phrase et évalue son urgence (Urgent / Normal). »
-
Première série (3 passages) : Testez ce prompt sans retouche sur les dix cas, trois fois de suite dans des conversations neuves. Comptez le nombre de cas conformes aux attendus.
-
Modification isolée : Ajoutez une seule règle stricte dans le champ Vérification du composeur : « Règle : classe en Urgent uniquement si la livraison est bloquée, le matériel inutilisable, ou si l'échéance est inférieure à 48 heures. Sinon, classe en Normal. »
-
Seconde série (3 passages) : Relancez trois fois sur les dix cas et comparez vos scores chiffrés.
Grille d'auto-évaluation : (a) les dix réponses attendues sont écrites avant le premier passage ; (b) six scores chiffrés sont notés, trois avant et trois après ; (c) une seule règle a changé, et le gain est mesuré.
-
4Le jeu de test qui ne fait jamais échouer le prompt
Une responsable support constitue son jeu de dix cas en prenant les dix derniers e-mails d'un mardi calme : dix demandes courtes et univoques. Le prompt obtient un score parfait de 10/10 sur trois séries. Elle le publie avec le label « validé ».
Le premier jour d'usage réel, un message mélangeant réclamation et livraison est classé deux fois, et un e-mail flou reçoit une catégorie inventée. Le banc d'essai n'a testé que des cas faciles, occultant les dérives quotidiennes de la boîte de réception.
Correction : composez le jeu avec six cas nominaux, trois cas complexes et un cas piège appelant la réponse « Autre » ou « non trouvé ». Ajoutez systématiquement les erreurs de production au banc. Règle à retenir : un jeu de test qui ne fait jamais échouer le prompt ne teste rien.
5Quiz
Trois questions, correction immédiate. Le retour explique chaque option.
6Preuve de maîtrise
Collez le tableau de dix cas avec la réponse attendue, le prompt testé, les scores des trois passages avant et après la modification, et la règle modifiée avec un extrait de réponse avant et après.
Critères
Pour aller plus loin
Le jeu de test mesure la version retenue après un méta-prompt et sert de contrôle avant de partager un agent ; il révèle aussi les hallucinations que l'œil laisse passer.
Questions fréquentes
Dix cas, est-ce suffisant ?
Pour un prompt d'équipe, oui : dix cas suffisent à révéler les défauts fréquents, à condition d'y mettre deux ou trois cas difficiles et un cas piège dont la réponse attendue est « non trouvé ». Le jeu grandit ensuite avec chaque erreur rencontrée en usage réel.
Puis-je demander à Copilot de noter lui-même ses réponses ?
Avec prudence. La recherche montre que les modèles se corrigent mal sans retour externe. Copilot peut préremplir la comparaison entre sa réponse et l'attendu ; c'est un humain, de préférence un pair qui ignore quelle version a produit quoi, qui valide le score.
Où conserver le jeu de test ?
Dans un fichier Excel propre, une ligne par cas, à côté de la fiche de bibliothèque du prompt. Copilot Notebooks, ouvert aux utilisateurs de Copilot Chat depuis juin 2026, permet aussi de regrouper le jeu, le prompt et les résultats au même endroit.