Aller au contenu
Collabor-IA · Guide Un site du réseau Collabor-IA

Fiche

Éviter les hallucinations d'un chatbot d'entreprise

Pourquoi un assistant invente parfois des réponses malgré vos documents, et les réglages qui réduisent ce risque : sources, consignes, tests.

Mis à jour le

On parle d'« hallucination » quand un assistant d'intelligence artificielle (IA) produit une réponse fausse, mais formulée de façon crédible. On ne la supprime pas tout à fait ; on la réduit en limitant l'assistant à vos documents, en l'autorisant à dire qu'il ne sait pas, en exigeant ses sources et en testant régulièrement.

Ce que disent les sources officielles

La CNIL (Commission nationale de l'informatique et des libertés) rappelle que ces systèmes peuvent générer des résultats inexacts qui paraissent pourtant plausibles, et qu'une confiance excessive sans vérification peut conduire à des décisions erronées. Le guide de la Direction générale des entreprises (DGE), publié en novembre 2024, précise que brancher l'assistant sur les documents de l'entreprise réduit ce risque, mais que des réponses inventées peuvent toujours se produire.

D'où viennent les réponses inventées

Dans un assistant qui répond à partir de vos documents, une hallucination a presque toujours l'une de ces causes :

Cause Ce qui se passe Remède
Information absente Aucun document ne répond ; le modèle complète avec du plausible Autoriser le « je ne sais pas », ajouter le document manquant
Mauvais passage retrouvé La recherche ramène un passage voisin, pas le bon Titres clairs, parties titrées, termes des utilisateurs dans les documents
Documents contradictoires Deux versions d'une règle coexistent Retirer l'ancienne version
Connaissances générales Le modèle répond avec ce qu'il « sait » au lieu de vos règles Consigne : s'en tenir aux documents fournis
Question ambiguë L'assistant choisit une interprétation sans le dire Consigne : demander une précision

La DGE cite parmi les remèdes la mise en qualité des données, notamment l'élimination des contradictions internes à la base documentaire, et l'évaluation régulière du système pour repérer les réponses inventées.

Les réglages côté consignes

La documentation d'Anthropic sur la réduction des hallucinations décrit plusieurs techniques, applicables quel que soit l'outil :

  1. Autoriser l'aveu d'ignorance. Donner explicitement au modèle la permission de dire qu'il ne sait pas.
  2. Restreindre aux documents fournis. Lui demander de n'utiliser que les documents et pas ses connaissances générales.
  3. Exiger une citation pour chaque affirmation, et lui faire retirer toute affirmation qu'aucun passage n'appuie. Voir faire citer ses sources.
  4. Partir des citations exactes pour les documents longs : extraire d'abord les passages mot pour mot, puis répondre à partir d'eux.
  5. Comparer plusieurs réponses. Poser la même question plusieurs fois : des réponses qui divergent signalent un risque d'invention.

Les trois premières se traduisent directement en phrases dans vos consignes. La cinquième est une technique de test.

Les réglages côté documents

  • Une seule version par règle. Archivez l'ancienne hors de la base.
  • Des documents datés, pour repérer vite une information périmée.
  • Du texte plutôt que des images. La DGE note des performances moindres sur les documents qui mêlent texte, images et tableaux. Si un tarif n'existe que dans un tableau scanné, ajoutez-le en texte.

Les réglages côté usage

La CNIL recommande que les utilisateurs portent toujours un regard critique sur les réponses, et qu'une bonne pratique consiste à ne jamais les reproduire telles quelles. Pour une équipe interne, cela se traduit par une règle simple : sur un sujet engageant (sécurité, contrat, prix), on ouvre le document cité avant d'agir. Pour un assistant face aux clients, on retire du périmètre les sujets où une erreur aurait des conséquences lourdes.

Comment savoir si vous progressez

Comptez, dans votre jeu de questions de test, les réponses classées « inventée ». La DGE cite le taux de réponses inventées parmi les indicateurs d'évaluation. Repassez le même jeu après chaque modification et notez la date : vous verrez si le nombre baisse, et quelle correction a fait la différence. La méthode complète est sur la page mesurer la qualité.

Questions fréquentes

Peut-on supprimer totalement les hallucinations ?

Non. Le guide de la DGE et la documentation d'Anthropic le disent tous deux : les bonnes pratiques réduisent le risque sans l'éliminer. D'où la vérification des informations importantes.

Brancher l'assistant sur nos documents suffit-il ?

Cela aide : la DGE indique que cette méthode réduit le risque de réponses absurdes par rapport à un modèle utilisé seul. Mais il faut aussi des documents sans contradiction, des consignes claires et des tests.

Sources

Pages consultées pour écrire cet article :

  1. https://cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative
  2. https://www.entreprises.gouv.fr/files/files/Publications/2024/Guides/20241127-bro-guide-ragv4-interactif.pdf
  3. https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations

À lire aussi