Le menu Answers Quality

Le menu Answers Quality aide les équipes métier à mesurer et à améliorer la qualité des réponses du bot, en particulier celles générées par le RAG. Il propose deux outils :

• les Évaluations : des personnes relisent et notent un échantillon de conversations réelles (ou de test) ;
• les Datasets : une liste fixe de questions est rejouée sur le bot, pour comparer les exécutions après un changement de réglages, de prompt ou de documents.

Pour accéder à ce menu, il faut bénéficier du rôle botUser (plus de détails sur les rôles dans sécurité).

Évaluations

Un échantillon d'évaluation est un ensemble de dialogues dont les réponses du bot sont relues une par une.

Créer un échantillon

Cliquez sur NEW SAMPLE et renseignez :

• le nom (Sample name) et une description facultative (Sample description),
• le nombre de dialogues à tirer au hasard (Number of dialogues),
• la période couverte, avec une date de début et une date de fin : seuls les dialogues créés pendant cette période sont retenus,
• Allow test dialogues : si les dialogues créés depuis les tests de Tock Studio peuvent être retenus.

Un échantillon peut aussi être créé à partir d'une exécution de dataset.

La liste des échantillons indique pour chacun son type (aléatoire ou généré depuis un dataset), son état (In Progress ou Validated), son score positif, son nombre de dialogues et de réponses, et qui l'a créé et validé.

Évaluer les réponses

Ouvrez un échantillon pour relire ses dialogues. Pour chaque réponse du bot :

• évaluez-la positivement (pouce levé),
• ou évaluez-la négativement (pouce baissé) en choisissant une raison :
  • question non ou mal comprise
  • réponse inexacte
  • réponse incomplète
  • sources / documents incomplets
  • sources / documents obsolètes
  • problème de lexique métier
  • mauvais format de réponse
  • hallucination
  • autre

La barre de progression indique le nombre de réponses évaluées, et les évaluations positives et négatives. Le détail de l'échantillon donne la période couverte, le nombre de dialogues demandés et obtenus, le nombre total de dialogues enregistrés pour le bot sur la période, et le taux de couverture qui en découle.

Valider un échantillon

Une fois toutes les réponses évaluées, cliquez sur Validate et ajoutez un commentaire si besoin. Un échantillon validé ne peut plus être modifié. Il peut être exporté en rapport PDF avec Export.

Les dialogues sont soumis à la politique de rétention des données de la plateforme. Si certains dialogues d'un échantillon ont été purgés, un avertissement s'affiche et l'échantillon ne peut plus être validé.

Datasets

Un dataset est une liste nommée de questions, chacune avec une vérité terrain facultative (la réponse attendue). Exécuter un dataset envoie chaque question au bot et enregistre les réponses, pour pouvoir comparer deux exécutions question par question : typiquement avant et après un changement des réglages RAG, du prompt ou des documents indexés.

Créer un dataset

Cliquez sur NEW DATASET, puis saisissez un nom, une description facultative et les questions, avec pour chacune une vérité terrain facultative.

Un dataset peut aussi être importé (bouton Import a dataset) :

• depuis un fichier JSON contenant un name, une description et un tableau de questions, chacune avec un champ question et un champ groundTruth,
• ou depuis un fichier CSV avec une colonne question et une colonne groundTruth facultative : téléchargez le CSV template depuis la fenêtre d'import pour obtenir les colonnes attendues. Le nom et la description sont alors saisis dans la fenêtre.

Depuis l'écran d'édition, EXPORT DATASET exporte le dataset complet en JSON, ou seulement ses questions en CSV.

Les résultats des exécutions sont rapprochés par question. Reformuler légèrement une question ne pose pas de problème, mais en changer le sens fausse la comparaison : dans ce cas, supprimez la question et ajoutez-en une nouvelle.

Exécuter un dataset

Cliquez sur Run dataset. Chaque question est envoyée au bot avec le connecteur de test, comme si elle était saisie dans le menu Test, avec le mode debug et le contenu des sources activés. Les questions sont traitées une par une, en arrière-plan : la liste affiche la progression de l'exécution en cours, qui peut être annulée.

Exécuter un dataset nécessite une configuration de test pour le bot. Une seule exécution peut être active par dataset, et un dataset ne peut pas être modifié ou supprimé pendant une exécution.

Pour chaque exécution, la liste indique ses dates, sa durée et son état, et compte les questions :

• Completed et Failed (échecs d'exécution ou erreurs techniques),
• Intent : traitées par la détection d'intention,
• Found in context : traitées par le RAG avec des documents pertinents,
• Not found in context : traitées par le RAG sans document pertinent.

Une exécution qui se termine avec des questions en échec reste terminée : les échecs sont comptés dans ses statistiques.

Comparer des exécutions

Ouvrez une exécution pour afficher ses réponses. L'écran compare une Run A et une Run B (par défaut, la dernière exécution), question par question : texte de la réponse, type de réponse (RAG ou intention) et sources. Les sources ajoutées, modifiées ou supprimées entre les deux exécutions sont mises en évidence.

Les filtres Show only diffs n'affichent que les questions dont l'état, les sources, le type de réponse ou la formulation ont changé.

Les liens settings et prompts affichent les réglages RAG et les prompts utilisés par chaque exécution, et les comparent.

Créer un échantillon à partir d'une exécution

Depuis la liste des exécutions, Create an evaluation sample based on the results of this run crée un échantillon d'évaluation contenant les réponses de l'exécution, pour qu'elles soient notées par des personnes.

Configuration

Les propriétés suivantes du backend de Tock Studio (tock/bot_admin) configurent les datasets :

Variable d'environnement	Défaut	Description
tock_datasets_max_questions	200	Nombre maximum de questions par dataset
tock_dataset_run_worker_poll_interval_ms	2000	Intervalle entre deux recherches d'exécutions à traiter (ms)
tock_dataset_run_worker_max_retries	0	Nombre de nouvelles tentatives d'une question après une erreur technique

Chat with Tock

×