Évaluer le RAG avant de changer de modèle
À retenir : Quand une réponse RAG est erronée, déterminez d’abord si les preuves étaient absentes, mal retrouvées ou mal utilisées. Chaque défaut appelle une correction différente.
Transformer la démonstration en questions testables
La génération augmentée par récupération fournit à un modèle de langage des documents pour répondre à une question. Imaginons un assistant interne spécialisé dans la documentation produit. Une réponse convaincante à une question habituelle renseigne peu sur son comportement face à un manuel obsolète, un nom ambigu ou une question sans réponse dans les documents.
Constituez un petit ensemble de questions représentatives et vérifiées. Pour chacune, notez la version documentaire, les preuves nécessaires et une réponse ou un refus acceptable. Incluez des questions nécessitant plusieurs passages et d’autres dont les preuves sont insuffisantes. Réservez un ensemble distinct pour contrôler les changements après ajustement.
Examiner séparément recherche et génération
Les travaux RAGAS distinguent la pertinence du contexte retrouvé, la fidélité de la réponse à ce contexte et la qualité de la réponse elle-même. Cette séparation reste utile lorsque l’évaluation prend la forme d’un tableau vérifié par une personne, sans outil automatisé. RAGAS : évaluation automatisée du RAG
Pour une question en échec, lisez d’abord les passages retrouvés. Si l’information nécessaire manque, examinez la couverture documentaire, l’extraction, le découpage et le classement. Si le bon passage était présent mais contredit par la réponse, examinez son utilisation par le modèle. Modifier les deux couches simultanément complique l’interprétation des résultats.
Vérifier ce que les citations prouvent
Une citation n’est utile que si le passage soutient l’affirmation précise. Vérifiez la version et les conditions éventuellement omises. « La fonctionnalité est disponible dans l’offre entreprise » diffère de « la fonctionnalité est disponible ». Retrouver la bonne page ne justifie pas la disparition de cette condition.
Testez cette limite explicitement : lorsque la documentation ne permet pas de répondre, l’assistant doit l’indiquer ou demander une précision. Testez aussi les droits d’accès. Un document pertinent n’est pas nécessairement accessible à l’utilisateur courant ; le système de recherche doit faire respecter ces autorisations.
Comparer les changements avec une fiche d’évaluation
Gardez les questions fixes et comparez un changement à la fois : découpage, classement ou configuration du modèle. Conservez passages, réponses, latence et erreurs. Un évaluateur automatique peut aider à prioriser la revue, mais ses scores nécessitent des vérifications humaines et une grille explicite.
Avant la mise en service, notez les améliorations, les régressions et les types de questions encore peu fiables. La décision devient concrète : déployer sur un périmètre réduit, améliorer les documents ou poursuivre les tests. Une réponse mieux formulée ne suffit pas à justifier ce choix.