Leçon 19 · Avancé · 20 min
Écrire une grille d'évaluation et la faire appliquer par Copilot
Écrire une grille d'évaluation à critères observables et la faire appliquer par Copilot Chat dans une conversation séparée, puis corriger et mesurer l'écart.
- Objectif
- Vous saurez rédiger une grille de cinq critères observables, la faire appliquer par Copilot Chat à un livrable dans une conversation séparée, appliquer les corrections proposées et mesurer le progrès entre deux versions.
- Compétences
- Vérifier
Demander « c'est bien ? » à Copilot donne un compliment. Lui donner une grille de cinq critères observables, dans une conversation séparée, donne un verdict par critère, une justification et des corrections applicables. La grille se rédige avant le prompt de production, comme un critère de succès, et se rejoue après correction pour mesurer le progrès. Elle ne remplace pas votre relecture : elle la rend plus rapide et plus régulière.
1Pourquoi un critère doit se constater, pas s'apprécier
Le guide d'Anthropic sur l'ingénierie de prompt met en avant une règle essentielle : définir un critère de succès avant de rédiger son prompt. La grille d'évaluation constitue cet étalon objectif. Elle liste cinq critères observables, chacun noté de 0 à 2 avec une justification d'une phrase. Elle s'applique à toute version du livrable.
Un bon critère se constate immédiatement sans jugement subjectif. Voici cinq exemples opérationnels :
-
Le public cible et la décision attendue figurent dès la première ligne.
-
Chaque chiffre s'appuie sur une source nommée et vérifiable.
-
Aucune phrase ne dépasse vingt-cinq mots.
-
La recommandation finale précise qui fait quoi et à quelle date.
-
Les points de désaccord sont isolés des décisions validées.
Pourquoi ne pas simplement demander à Copilot de vérifier son propre travail ? Les travaux de recherche de Huang montrent que les modèles de langage ne s'autocorrigent pas de manière fiable sans retour externe. Sans repère indépendant, leur performance baisse souvent après une tentative d'autocorrection.
La vérification exige un élément extérieur à la production : un document source joint ou une grille préétablie. Deux règles s'imposent pour fiabiliser le contrôle : la grille est rédigée en amont, et l'évaluation se déroule dans une conversation séparée contenant le seul texte à juger.
Le protocole se déroule en quatre temps. Vous rédigez d'abord la grille. Vous générez ensuite la première version du livrable. Dans une nouvelle conversation, vous attribuez à Copilot un rôle de relecteur avec la grille et le texte brut.
Vous exigez une note par critère, une justification courte et trois corrections prioritaires sous forme d'instructions. Vous appliquez les corrections pertinentes, écartez les propositions injustifiées, puis rejouez la grille sur la version corrigée. Le mode d'analyse approfondie de Microsoft renforce la rigueur de cet audit.
Schéma « Une grille pour juger une réponse »Schéma généré par IA et relu -
2Une note de direction passée de 5 à 9 sur 10
Un responsable opérationnel fait rédiger par Copilot une note d'une page proposant un changement d'organisation à sa direction.
Prompt faible, dans la même conversation :
C'est bien ?Copilot répond que la note est « claire et bien structurée » et suggère de « renforcer l'introduction ». Rien n'est mesurable, rien n'est actionnable, et la note conserve deux chiffres invérifiables.
Prompt fort : Tour 1 (évaluation indépendante dans une nouvelle conversation) :
Tu es relecteur qualité. Évalue la note ci-dessous selon cette grille. Pour chaque critère, attribue une note de 0 à 2 et une justification d'une phrase : 1) Chaque affirmation chiffrée renvoie à une source nommée ; 2) Le public cible et la décision demandée apparaissent dès la première phrase ; 3) La recommandation finale dit qui fait quoi et quand ; 4) Aucune phrase ne dépasse 25 mots ; 5) Les objections prévisibles sont listées avec une réponse chacune. Termine par les trois corrections prioritaires, formulées comme des instructions de réécriture. Ne réécris pas la note. Note : [texte collé]Copilot applique la grille de façon stricte. Le verdict tombe avec un score de 5 sur 10 : deux chiffres sans source (0/2), décision absente du premier paragraphe (1/2), quatre phrases trop longues (0/2).
Prompt fort : Tour 2 (arbitrage humain et second audit) :
J'ai intégré la source des gains de productivité et raccourci les phrases signalées. En revanche, je conserve la mention des risques syndicaux que tu proposais de supprimer, car la direction exige cette transparence. Voici la version 2. Réévalue-la avec la même grille et compare les scores. Note V2 : [texte V2]La nouvelle évaluation monte à 9 sur 10. Les sources sont validées, la décision est limpide en ouverture, et la réserve maintenue par le responsable est reconnue comme justifiée.
Ce qui change : les critères observables produisent un verdict comparable entre deux versions. Les corrections formulées comme des instructions s'appliquent immédiatement. L'arbitrage explicite du manager rappelle que l'humain garde la responsabilité du livrable.
3Écrivez cinq critères vérifiables en une minute
Choisissez un livrable courant de votre métier : mail client, note de synthèse, compte rendu ou fiche produit. Voici le prompt de départ, à améliorer :
« Relis ma note et dis-moi ce que tu en penses. »
Rédigez d'abord votre grille de cinq critères observables, notés de 0 à 2. Produisez une version 1 avec Copilot. Dans une nouvelle conversation, configurez le rôle de relecteur et soumettez le texte brut avec votre barème.
Demandez un score, une justification par critère et trois corrections prioritaires sans réécriture directe. Le composeur ci-dessous structure ce prompt d'évaluation. Activez le renfort pour faire vérifier les points critiques par un humain. Appliquez les corrections fondées, refusez les ajustements contestables, puis comparez les notes avant et après.
Grille d'auto-évaluation : (a) les cinq critères se vérifient en moins d'une minute chacun ; (b) l'évaluation a eu lieu dans une conversation séparée ; (c) les scores avant et après sont notés et une correction au moins a été refusée avec une raison.
4La grille qui donne 10 sur 10 à tous les coups
Un chef de projet écrit sa grille en cinq critères vagues : « le ton est professionnel », « la note est claire », « la structure est logique », « le contenu est pertinent », « le niveau de détail est adapté ». Il demande à Copilot d'évaluer une note de synthèse, de l'améliorer, puis de l'évaluer à nouveau. Deux fois de suite, le modèle attribue 10 sur 10 avec des compliments.
Ce biais s'explique simplement : aucun critère n'est observable. Le modèle juge sa propre production et valide l'ensemble par complaisance. La grille mesure la politesse de l'IA, pas la rigueur du document.
Pour corriger ce défaut, réécrivez chaque critère afin qu'un collègue pressé puisse le vérifier en moins d'une minute sans avis subjectif. Exigez la citation exacte du passage justifiant chaque note dans une conversation neuve. Un critère que le modèle ne peut pas contredire ne mesure rien.
5Quiz
Trois questions, correction immédiate. Le retour explique chaque option.
6Preuve de maîtrise
Collez votre grille de cinq critères, l'évaluation de la version 1 par Copilot avec les scores, les corrections que vous avez appliquées, puis les scores de la version 2.
Critères
Pour aller plus loin
Cette grille est le prompt C de Décomposer une tâche en trois prompts chaînés, et elle a sa place dans chaque fiche de Construire la bibliothèque de prompts de votre équipe. Le glossaire rappelle ce qu'est une hallucination, que le critère de sourçage sert à attraper.
Questions fréquentes
Pourquoi une conversation séparée pour l'évaluation ?
Parce que dans la même conversation, le modèle défend ce qu'il vient d'écrire : il a tout le contexte de sa production et tend à la confirmer. Une nouvelle conversation, avec la grille et le seul texte à évaluer, produit un jugement plus indépendant. Ce n'est pas un juge impartial pour autant : vous restez l'arbitre.
Puis-je demander à Copilot de s'auto-évaluer dans le prompt de production ?
Oui, c'est le renfort « Critères d'auto-évaluation » de cette leçon, utile comme liste de contrôle en fin de réponse. Mais la recherche montre que l'autocorrection sans retour externe n'améliore pas le raisonnement, et peut le dégrader. L'auto-évaluation signale ; la grille appliquée à part, puis votre relecture, tranchent.
Combien de critères dans une grille ?
Cinq, rarement plus. Chaque critère doit être observable en moins d'une minute par un collègue : une longueur, une présence, une correspondance avec la source. « Le ton est bon » n'est pas un critère ; « aucune phrase de plus de 25 mots » et « chaque chiffre renvoie à une source » en sont.