Aller au contenu

Le menu Observability settings

Un outil d'observabilité des LLM enregistre les appels faits par l'orchestrateur Gen AI pour chaque réponse : la question condensée, les documents récupérés, les prompts envoyés au LLM et ses réponses, avec leur latence, leur consommation de tokens et leur coût. Il aide à comprendre une mauvaise réponse, et à suivre le coût et les performances du RAG.

Pour accéder à cette page, il faut le rôle admin (plus de détails sur les rôles dans sécurité).

Configuration

Observabilité des LLM

  • Observability activation : active ou désactive les traces pour le bot.
  • Observability provider : l'outil qui reçoit les traces (voir la liste des fournisseurs d'observabilité). Pour Langfuse :
    • Public key et Secret key : les clés d'API d'un projet Langfuse (Settings > API Keys dans Langfuse),
    • Url : l'adresse du serveur Langfuse, telle que l'orchestrateur Gen AI l'atteint,
    • Public url (facultatif) : l'adresse du serveur Langfuse vue depuis le navigateur des utilisateurs, quand elle diffère de Url (par exemple un nom d'hôte interne Docker ou Kubernetes). Elle sert aux liens vers les traces.

Les réglages peuvent être exportés (en incluant ou non les données sensibles, comme les clés) puis importés, pour les copier d'un bot ou d'un environnement à l'autre, et supprimés.

Consulter les traces

Une fois l'observabilité activée, chaque réponse générée comporte un lien vers sa trace (View observability details) :

Lancer Langfuse avec Docker

Le dépôt tock-docker fournit un fichier Docker Compose qui démarre Langfuse (version 3) et ses dépendances :

git clone https://github.com/theopenconversationkit/tock-docker.git && cd tock-docker
docker compose -f docker-compose-langfuse-v3-only.yml up -d

Langfuse est alors disponible sur http://localhost:3000 : créez un compte, une organisation et un projet, puis ses clés d'API. Dans les réglages d'observabilité, renseignez dans Url une adresse que le conteneur de l'orchestrateur peut atteindre (par exemple http://host.docker.internal:3000), et dans Public url http://localhost:3000.

Changez les mots de passe et secrets par défaut du fichier Compose avant de l'utiliser au-delà d'un test local.

Chat with Tock
×