Qui doit tester l'assistant ?

Ceux qui connaissent les bonnes réponses : les personnes du métier qui répondent aujourd'hui à ces questions. Le guide de la DGE recommande d'associer les futurs utilisateurs aux questions types et réponses types.

Faut-il refaire les tests après une modification ?

Oui, à chaque changement de consignes ou de documents. Une correction peut en dérégler une autre : repasser le même jeu de questions permet de le voir.

Peut-on faire noter les réponses par une autre IA ?

C'est une méthode citée par la DGE et par Anthropic. Anthropic conseille dans ce cas d'utiliser un modèle différent de celui qui a produit les réponses. Gardez une relecture humaine pour les sujets sensibles.

Tester un chatbot avant de le lancer : la méthode

Tester un chatbot (un assistant d'intelligence artificielle, ou IA) avant de le lancer, c'est lui poser un jeu de questions préparé à l'avance, dont vous connaissez les bonnes réponses, et noter chaque réponse avec une grille fixée avant de commencer. Vous décidez d'ouvrir quand les erreurs graves ont disparu, pas quand l'assistant « a l'air de bien marcher ».

Pourquoi un test écrit, et pas quelques essais

Un assistant qui répond à partir de documents peut répondre juste à neuf questions et inventer à la dixième, avec la même assurance. La CNIL (Commission nationale de l'informatique et des libertés) rappelle que ces systèmes peuvent produire des résultats inexacts qui paraissent plausibles. Quelques essais au hasard ne montrent pas ce risque ; un jeu de questions fixe, repassé à chaque modification, le montre.

Étape 1 : écrire les critères avant de tester

La documentation d'Anthropic sur les tests recommande des critères précis et mesurables, alignés sur l'usage réel. Pour un assistant documentaire, quatre suffisent pour commencer :

Critère	La question à se poser
Exactitude	La réponse est-elle juste au regard du document ?
Source	Le bon document est-il cité ?
Périmètre	Les sujets exclus sont-ils bien refusés et redirigés ?
Aveu d'ignorance	Quand la réponse n'est pas dans les documents, le dit-il ?

Fixez aussi la règle d'ouverture avant de voir les résultats. Exemple : « Aucune réponse inventée sur les sujets à risque, aucune fuite d'une information interne vers un client. »

Étape 2 : constituer le jeu de questions

Partez de votre tableau de périmètre et ajoutez des cas difficiles. Anthropic recommande des tests qui reflètent la répartition réelle des questions, sans oublier les cas limites : question hors sujet, question ambiguë, question très longue, formulation maladroite ou malveillante. Elle note aussi qu'un grand nombre de questions, même notées de façon plus simple, vaut mieux que quelques questions notées très finement.

Pour chaque question, écrivez la réponse attendue et le document qui la contient. Une liste prête à adapter est sur la page questions de test.

Étape 3 : faire passer le test

Posez chaque question telle qu'un utilisateur la taperait, fautes comprises.
Reformulez les questions importantes de deux ou trois façons : la réponse doit rester la même.
Notez chaque réponse dans un tableur : juste, incomplète, fausse, inventée, refus à tort, refus justifié.
Pour chaque réponse fausse, notez le document cité : c'est la piste de correction.

Le guide de la Direction générale des entreprises (DGE) cite trois façons d'évaluer : les retours des utilisateurs, des mesures chiffrées (dont le taux de réponses inventées et la pertinence des documents retrouvés), et la notation par un autre modèle de langage. Avant le lancement, la première passe se fait à la main, par les gens du métier.

Étape 4 : classer les erreurs par gravité

Toutes les erreurs ne se valent pas :

Gravité	Exemple	Décision
Bloquante	Information interne donnée à un client, consigne de sécurité fausse, réponse inventée sur un sujet engageant	Corriger avant d'ouvrir
Importante	Bonne réponse sans source, réponse incomplète sur un sujet fréquent	Corriger ou retirer le sujet du périmètre
Mineure	Ton, longueur, mise en forme	Corriger après ouverture si besoin

Étape 5 : corriger, puis tout repasser

Pour chaque erreur, cherchez la cause : document manquant, document périmé, passage mal retrouvé, consigne floue. La page améliorer les réponses donne la grille de diagnostic. Après correction, repassez tout le jeu de questions, pas seulement la question corrigée.

Étape 6 : ouvrir à un petit groupe

Avant l'ouverture générale, ouvrez à quelques utilisateurs qui connaissent le métier. La DGE recommande d'associer les futurs utilisateurs aux points d'étape de l'expérimentation et de leur donner un moyen simple de signaler une réponse. Leurs questions réelles enrichiront votre jeu de test.

La liste de contrôle avant ouverture

Les critères et la règle d'ouverture sont écrits.
Le jeu de questions couvre le périmètre et les cas limites.
Aucune erreur bloquante ne subsiste.
L'assistant dit qu'il ne sait pas quand l'information manque.
Les personnes savent qu'elles échangent avec une IA.
Un moyen de signaler une mauvaise réponse existe.
La date et le résultat du test sont notés, pour comparer au prochain.