Comparer deux IA sans se tromper : la méthode en 4 étapes

Comparer deux IA en leur posant trois questions et en lisant les réponses ne prouve rien. Tu jugeras le style, pas la justesse, et tu choisiras celle qui écrit comme toi. Une comparaison qui tient repose sur un jeu de tâches issues de ton travail réel, une grille de notation écrite avant l’essai, et un correcteur qui ne sait pas quel modèle a produit quoi. Voici la méthode, en une demi-journée.

Pourquoi le test à main levée se trompe

Quatre biais faussent presque tous les comparatifs improvisés.

• Le biais de fluidité. Une réponse bien tournée paraît plus exacte qu’une réponse hésitante. La forme n’est pourtant corrélée à rien.
• Le biais d’ordre. Le premier modèle testé sert de référence, le second est jugé par rapport à lui. Inverse l’ordre et le verdict change.
• Le biais de la question facile. Sur des demandes générales, tous les modèles se valent. La différence apparaît sur tes cas particuliers.
• Le biais du petit nombre. Trois questions ne séparent pas deux modèles proches. La variation d’une exécution à l’autre suffit à inverser le résultat.

Les classements publics souffrent des mêmes limites, avec un problème en plus : ils mesurent des tâches génériques qui ne ressemblent pas aux tiennes. Le sujet des difficultés d’évaluation des modèles est traité dans cet article.

Étape 1 : construire le jeu de tâches

Prends vingt tâches réelles, tirées de ton travail des trois derniers mois. Pas de questions inventées pour l’occasion.

• Douze tâches courantes : ce que tu demandes chaque semaine.
• Cinq tâches difficiles : celles où tu as déjà vu un modèle échouer.
• Trois pièges : une question dont la réponse n’existe pas, une consigne contradictoire, une demande hors du domaine. Un bon modèle refuse ou signale. Un mauvais invente.

Ces trois pièges valent la moitié du test. Un modèle qui répond avec assurance à une question sans réponse te coûtera cher en production. Le cas d’un cabinet pris en défaut par des références inventées dans un rapport officiel est raconté ici.

Étape 2 : écrire la grille avant de lancer

La grille se rédige avant d’avoir vu la moindre réponse. Sinon tu ajusteras les critères à ce que tu préfères. Note chaque tâche de 0 à 3 sur cinq axes.

• Justesse. Les faits sont exacts et vérifiables. C’est le seul axe à double pondération.
• Respect de la consigne. Format demandé, longueur, langue, contraintes.
• Complétude. La réponse couvre la demande, sans partie manquante.
• Honnêteté. Le modèle signale ce qu’il ignore au lieu de combler.
• Utilisable tel quel. Combien de retouches avant de te servir du texte.

Ajoute deux mesures qui ne dépendent pas de ton jugement : le temps de réponse et le coût par tâche. Deux modèles à égalité de note ne se valent pas si l’un coûte trois fois plus.

Étape 3 : lancer à l’aveugle

• Passe exactement la même consigne aux deux modèles, au mot près. Une reformulation invalide la comparaison.
• Lance chaque tâche trois fois par modèle. Les modèles varient d’une exécution à l’autre, et une seule sortie ne mesure rien.
• Colle les réponses dans un tableur, mélangées, sous des étiquettes neutres A et B. Le nom du modèle reste dans une colonne masquée.
• Note toutes les réponses sans savoir laquelle vient d’où. C’est la seule protection contre ta préférence de départ.
• Découvre les étiquettes à la fin, et fais la moyenne par modèle et par axe.

Les trois exécutions par tâche servent à repérer l’instabilité. Un modèle qui rend une réponse parfaite et deux mauvaises sur la même demande est moins utilisable qu’un modèle régulier un peu moins bon.

Étape 4 : lire l’écart, pas le total

Un total global cache l’information utile. Regarde le détail par axe.

• Un écart sous dix pour cent sur vingt tâches ne sépare pas les deux modèles. Choisis alors sur le coût ou sur le temps de réponse.
• Un écart sur la justesse seule tranche le débat. Aucun autre axe ne compense un fait faux.
• Un écart sur le respect de la consigne se rattrape en réécrivant ta demande. Refais l’essai avant de conclure.
• Un écart sur l’honnêteté pèse lourd si tes textes partent chez des clients.
• Un écart concentré sur trois tâches signale une spécialité, pas une supériorité générale. Garde les deux modèles, chacun sur son terrain.

Noter la justesse sans y passer la semaine

C’est l’axe le plus lourd à évaluer, et celui qui décide. Quatre raccourcis le rendent tenable.

• Choisis des tâches dont tu connais la réponse. Un compte rendu que tu as déjà rédigé, un calcul que tu as déjà fait : la correction prend trente secondes.
• Exige une source par affirmation chiffrée. Tu vérifies la source, pas le chiffre. Une source inventée se repère en un clic.
• Compte les erreurs, ne note pas une impression. Deux faits faux sur une réponse valent 1 sur 3, quel que soit le reste.
• Traite l’omission comme une erreur. Une réponse qui esquive la moitié de la demande sans le signaler coûte plus cher qu’une réponse incomplète assumée.

Cette discipline transforme un ressenti en nombre. Elle change aussi le résultat : sur la plupart des comparaisons menées à l’aveugle, le modèle jugé meilleur au feeling n’est pas celui qui sort en tête sur la justesse mesurée.

Les erreurs qui invalident un comparatif

• Changer la consigne entre les deux modèles pour aider celui qui rame.
• Tester dans des interfaces différentes sans vérifier les réglages : instructions personnalisées, mémoire de conversation, recherche activée d’un côté seulement.
• Comparer une réponse fraîche à une réponse d’il y a six mois. Les modèles changent, un relevé ancien ne vaut rien.
• Se fier au classement d’un vendeur qui vend l’un des deux modèles comparés.
• Confondre le modèle et le produit. Le même modèle rend des résultats différents selon l’application qui l’appelle, ses consignes internes et son accès à la recherche.

Refaire le test, et quand

Un comparatif date du jour où tu l’as fait. Trois évènements imposent de le rejouer : une nouvelle version d’un des deux modèles, un changement dans ton usage, une hausse de tarif. Garde ton jeu de vingt tâches et ta grille dans un fichier. Rejouer le test coûte alors deux heures au lieu d’une demi-journée, et tu compares à ton propre historique plutôt qu’à une annonce commerciale.

La version courte, pour un choix rapide

• Cinq tâches réelles, dont un piège.
• Deux exécutions par modèle.
• Notation sur la justesse et l’honnêteté seulement.
• Décision sur le coût si l’écart reste faible.

Cette version tient en une heure. Elle suffit pour trancher entre deux outils sur un usage précis. Garde la méthode complète pour un choix qui engage ton équipe sur l’année, parce que l’écart réel entre deux modèles proches ne se voit qu’à partir de vingt tâches.