Guide
Améliorer les réponses d'un chatbot : le diagnostic
Une mauvaise réponse a une cause précise : document, recherche, version ou consigne. La grille pour la trouver et corriger sans casser le reste.
Mis à jour le
Pour améliorer les réponses d'un chatbot qui s'appuie sur vos documents, ne retouchez pas les consignes au hasard : prenez chaque mauvaise réponse, cherchez sa cause parmi quatre possibles (document absent, mauvais passage retrouvé, document périmé, consigne floue), corrigez cette seule cause, puis repassez vos questions de test.
Rappel : où une réponse peut dérailler
Le guide de la Direction générale des entreprises (DGE) décrit l'assistant en deux temps : une recherche des passages pertinents dans vos documents, puis la rédaction de la réponse par un modèle de langage à partir de ces passages. Une mauvaise réponse vient donc soit de ce qui a été trouvé, soit de ce qui en a été fait. La grille ci-dessous suit cet ordre.
La grille de diagnostic
Prenez la mauvaise réponse et répondez à ces questions, dans l'ordre :
1. La bonne information existe-t-elle dans la base ? Cherchez-la vous-même dans les documents chargés. → Non : c'est un document manquant. Faites écrire la réponse, ajoutez-la. Voir mettre à jour la base.
2. L'assistant a-t-il cité le bon document ? Regardez la source indiquée sous la réponse. → Non : c'est un problème de recherche. La DGE explique qu'une recherche par mots exacts gère mal les synonymes, qu'une recherche par le sens peut manquer certaines formulations, et que l'outil ne retient souvent qu'un nombre limité de passages.
3. Le document cité est-il à jour et sans contradiction ? → Non : c'est un problème de version. Retirez l'ancienne version de la base.
4. Le bon passage a été trouvé, mais la réponse le déforme ou en sort ? → C'est un problème de consigne (ou une limite du modèle sur ce type de question).
Les corrections, cause par cause
| Cause | Corrections possibles |
|---|---|
| Document manquant | Rédiger la réponse en texte simple, avec un titre clair, l'ajouter à la base |
| Problème de recherche | Titre plus explicite ; ajouter dans le texte les mots des utilisateurs à côté du terme officiel ; découper un document fourre-tout en parties titrées ; mettre en texte une information prisonnière d'un tableau ou d'une image |
| Problème de version | Retirer l'ancienne version, dater la nouvelle |
| Problème de consigne | Préciser la règle et donner sa raison ; ajouter un exemple ; rappeler de s'en tenir aux documents |
Sur la recherche, certains réglages dépendent de l'outil et pas de vous : taille des morceaux de documents, combinaison d'une recherche par mots et d'une recherche par le sens, nombre de passages retenus. La DGE cite ces leviers ; demandez à l'éditeur ce qui est réglable dans le vôtre.
Bien corriger une consigne
La documentation d'Anthropic donne trois conseils utiles ici :
- Être précis et explicite sur ce que vous attendez, comme pour un nouvel employé qui ne connaît pas vos usages.
- Expliquer pourquoi une règle existe : le modèle généralise à partir de l'explication.
- Ajouter des exemples proches des vraies questions et variés ; elle conseille trois à cinq exemples.
Elle recommande aussi, contre les réponses inventées, d'autoriser l'assistant à dire qu'il ne sait pas et de lui demander de n'utiliser que les documents fournis. Voir rédiger les consignes.
Un changement à la fois
- Corrigez une seule cause.
- Reposez la question qui posait problème, puis deux reformulations.
- Repassez toute votre liste de questions de test : une phrase ajoutée aux consignes peut dérégler une autre réponse.
- Notez le changement et le résultat avec la date.
La fiche de correction
| Champ | À remplir |
|---|---|
| Date | JJ/MM/AAAA |
| Question posée | Mots exacts de l'utilisateur |
| Réponse obtenue | Copie |
| Source citée | Document, page |
| Réponse attendue | Et document qui la contient |
| Cause (1 à 4) | … |
| Correction faite | … |
| Résultat du nouveau test | Juste / toujours faux |
Quand les retours des utilisateurs aident
La DGE recommande de prévoir dans l'interface un moyen pour l'utilisateur de signaler une réponse, pour affiner le système au fil du temps. Un bouton de signalement ne sert que si quelqu'un traite ces signalements : intégrez-les à votre routine de relecture, avec cette grille.
Les signes qu'il faut revoir le périmètre plutôt que les réponses
- Les mêmes questions échouent après plusieurs corrections.
- Elles demandent de comparer de nombreux documents ou de formuler une recommandation, tâches pour lesquelles la DGE juge ce type d'assistant moins pertinent.
- La réponse dépend d'une appréciation au cas par cas.
Dans ces cas, mieux vaut sortir le sujet du périmètre et rediriger vers une personne (quand il ne sait pas).
Questions fréquentes
Faut-il changer de modèle d'intelligence artificielle quand les réponses sont mauvaises ?
Pas en premier. Dans un assistant documentaire, une mauvaise réponse vient souvent d'un document absent, mal retrouvé, périmé, ou d'une consigne floue. Vérifiez ces quatre points d'abord : ils sont entre vos mains.
Pourquoi ne corriger qu'une chose à la fois ?
Pour savoir ce qui a fonctionné. Si vous modifiez un document et les consignes en même temps, vous ne saurez pas lequel des deux a réglé ou aggravé le problème.
Sources
Pages consultées pour écrire cet article :
- https://www.entreprises.gouv.fr/files/files/Publications/2024/Guides/20241127-bro-guide-ragv4-interactif.pdf
- https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
- https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations