Améliorer les réponses générées

Un bot RAG n'est jamais terminé du premier coup : les documents évoluent, les utilisateurs posent des questions inattendues, et un changement de modèle ou de prompt peut améliorer certaines réponses et en dégrader d'autres. Cette page décrit la boucle d'amélioration, et les outils de Tock Studio utilisés à chaque étape.

flowchart LR
    O[Observer<br/>les conversations réelles] --> D[Diagnostiquer<br/>une mauvaise réponse]
    D --> F[Corriger<br/>documents, réglages, prompt, stories]
    F --> M[Mesurer<br/>rejouer un dataset]
    M --> O

1. Observer

Le Dashboard résume l'activité du RAG : part des réponses fondées sur les documents retrouvés, thèmes traités, état de la base de connaissances, vérifications de la configuration Gen AI.
Analytics > Dialogs affiche les conversations, avec la réponse du RAG et ses sources. Elles peuvent être filtrées sur le statut de la réponse RAG, par exemple pour lister les questions traitées sans document pertinent. Activez Dialogs debug dans les réglages RAG pour enregistrer aussi la question condensée et les documents retrouvés.
Le statut de la réponse RAG, le thème et les thèmes suggérés renvoyés par le LLM sont aussi enregistrés comme indicateurs (RAG Status, RAG Topics, RAG Suggested Topics), visibles dans le menu Metrics.
Avec un fournisseur d'observabilité comme Langfuse, chaque réponse renvoie vers la trace de ses appels au LLM : prompts exacts, documents, consommation de tokens et latence.
Les évaluations permettent aux experts métier de relire et noter un échantillon de conversations réelles.

2. Diagnostiquer

Depuis une réponse du bot dans Analytics > Dialogs, des raccourcis ouvrent la question dans le diagnostic de recherche ou dans le playground, avec les valeurs enregistrées pour cet échange. Identifiez d'abord où la chaîne a échoué :

Symptôme	Cause probable	Outil
Le bon document ne fait pas partie des sources	Recherche : le document est absent de l'index, mal découpé ou trop mal classé	Diagnostic de recherche, exploration de la base vectorielle
Le bon document fait partie des sources, mais la réponse est fausse ou incomplète	Génération : prompt, modèle ou taille du contexte	Playground, traces d'observabilité
Le bot a répondu à une question qu'il n'aurait pas dû traiter	Périmètre : sujet non exclu, ou réponse validée manquante	Exclusions RAG, contexte du prompt, FAQ
Une question a été traitée par la mauvaise story	NLU : la phrase a été classée dans une intention qui a une story	Compréhension du langage, qualité du modèle

3. Corriger

Selon la cause :

Documents : complétez ou nettoyez les sources, puis réindexez-les et basculez le bot sur la nouvelle session d'indexation. L'exploration de la base vectorielle signale les chunks presque vides, les sources sans URL et les titres en double.
Recherche : changez le type de recherche (recherche hybride avec PGVector), le nombre de documents retrouvés dans les réglages RAG, ou le compresseur. Comparez les recherches dans le diagnostic avant et après.
Génération : ajustez le prompt de réponse ou le modèle, après les avoir essayés dans le playground.
Périmètre : ajoutez des thèmes couverts ou exclus et des termes métier, excluez des phrases du RAG, ou répondez avec une FAQ ou une story (voir Comment le bot répond).

4. Mesurer

Avant de déployer une modification, vérifiez qu'elle ne dégrade pas d'autres réponses :

Constituez un dataset de questions représentatives, dont celles qui ont reçu une mauvaise réponse.
Exécutez-le avant et après la modification, et comparez les exécutions.
Si besoin, créez un échantillon d'évaluation à partir d'une exécution pour que les experts métier notent les nouvelles réponses.

L'historique du Dashboard garde la trace des modifications des réglages Gen AI et du corpus, pour relier une évolution des métriques à un changement de configuration.

Chat with Tock

×