Guide
Mesurer la qualité des réponses d'un chatbot
Les indicateurs utiles pour suivre un assistant documentaire, comment les calculer sans outil compliqué, et à quel rythme les relever.
Mis à jour le
Pour mesurer la qualité des réponses d'un chatbot, combinez deux mesures : un jeu de questions de test repassé à date fixe, qui donne un score comparable dans le temps, et la relecture régulière d'un échantillon de conversations réelles, qui montre ce que vivent les utilisateurs. Quelques indicateurs simples suffisent, à condition de les relever toujours de la même façon.
Ce que recommandent les sources
Le guide de la Direction générale des entreprises (DGE) sur les assistants documentaires cite trois façons d'évaluer un système en service : les retours des utilisateurs sur la qualité des réponses, des mesures chiffrées (taux de réponses inventées, pertinence des documents retrouvés, temps de réponse), et la notation des réponses par un autre modèle de langage qui les compare à des réponses de référence. Il ajoute que l'évaluation objective des performances pèse beaucoup dans l'adoption de l'outil par les équipes.
La documentation d'Anthropic sur les tests demande des critères précis, mesurables, réalistes et liés à l'usage réel. Elle cite notamment la fidélité à la tâche, la cohérence, la pertinence, le ton, la protection des informations privées et la bonne utilisation du contexte fourni.
Les indicateurs utiles
| Indicateur | Comment le calculer | Ce qu'il révèle |
|---|---|---|
| Réponses justes | Réponses justes ÷ questions du jeu de test | La qualité globale, comparable dans le temps |
| Réponses inventées | Réponses sans appui dans les documents ÷ questions du jeu | Le risque le plus grave |
| Citations correctes | Réponses dont la source citée appuie bien l'affirmation ÷ réponses avec source | La fiabilité des citations |
| Aveux d'ignorance | « Je ne sais pas » ÷ conversations de la période | Les trous dans la documentation |
| Cohérence | Questions reformulées qui reçoivent la même réponse ÷ groupes de reformulations | La robustesse face aux mots des utilisateurs |
| Retours négatifs | Réponses signalées ÷ réponses données | Le ressenti des utilisateurs |
| Temps de réponse | Relevé sur quelques questions types | Le confort d'usage |
Les quatre premiers se suivent en interne, sans outil spécialisé : un tableur et votre liste de questions de test suffisent.
Deux mesures complémentaires
Le jeu de test, à date fixe. Toujours les mêmes questions, toujours la même grille. Vous le repassez après chaque changement important et à intervalle régulier. C'est votre thermomètre : si le score baisse, quelque chose a changé (un document, une consigne, l'outil).
L'échantillon de conversations réelles. Une personne du métier relit un échantillon pris au hasard et note chaque réponse avec la même grille que le jeu de test. C'est là que vous découvrez les questions que personne n'avait prévues. Si les conversations contiennent des données personnelles, encadrez cette relecture au regard des règles de protection des données personnelles (qui relit, quoi, combien de temps on garde).
La notation par un autre modèle
Faire noter les réponses par un autre modèle d'intelligence artificielle (IA) permet de passer beaucoup de questions. La DGE cite cette méthode ; Anthropic conseille d'utiliser pour cela un modèle différent de celui qui a produit les réponses. Gardez la relecture humaine pour vérifier la notation sur un échantillon, et pour les sujets à risque.
Le tableau de bord mensuel
Une page, une ligne par mois :
| Mois | Réponses justes (jeu de test) | Inventées | Citations correctes | Aveux d'ignorance | Retours négatifs | Changements du mois |
|---|---|---|---|---|---|---|
| JJ/MM/AAAA | … | … | … | … | … | Nouvelle grille tarifaire |
La dernière colonne est essentielle : sans elle, vous ne saurez pas expliquer une variation.
Lire les chiffres sans se tromper
- Un taux d'aveux d'ignorance qui monte n'est pas forcément une mauvaise nouvelle : il peut venir d'un public plus large qui pose de nouvelles questions. Regardez lesquelles.
- Un taux d'aveux qui tombe à zéro est suspect : vérifiez que l'assistant n'invente pas à la place.
- Un bon score global peut cacher un sujet sensible mal traité. Suivez à part les questions à risque.
- Les retours des utilisateurs ne remplacent pas la vérification. La CNIL (Commission nationale de l'informatique et des libertés) recommande de toujours vérifier que les réponses sont exactes : un utilisateur pressé approuve parfois une réponse qu'il n'a pas contrôlée.
Quand un indicateur se dégrade, la page améliorer les réponses aide à trouver la cause.
Questions fréquentes
Quel est le premier indicateur à suivre ?
La part de réponses justes sur votre jeu de questions de test, repassé à date fixe. C'est le seul chiffre que vous pouvez comparer d'une fois sur l'autre dans les mêmes conditions.
Les retours « pouce levé, pouce baissé » suffisent-ils ?
Non. Ils signalent un malaise, mais un utilisateur peut approuver une réponse fausse qu'il n'a pas vérifiée. Croisez-les avec une relecture d'un échantillon par une personne du métier.
Existe-t-il un bon score à atteindre ?
Il n'y a pas de seuil universel. Fixez le vôtre selon le risque de chaque sujet, avant de mesurer, et suivez surtout l'évolution.
Sources
Pages consultées pour écrire cet article :