Le menu Playground
Le Playground permet d'envoyer des prompts directement à un LLM, avec le fournisseur et les réglages de votre choix, pour essayer un modèle ou un prompt avant de modifier la configuration du bot.
Contrairement au RAG, le playground ne cherche pas dans la base vectorielle : le prompt est envoyé tel quel au modèle.
Pour accéder à cette page, il faut bénéficier du rôle admin (plus de détails sur les rôles dans sécurité).
Réglages du LLM
Le panneau LLM settings est initialisé avec les réglages du LLM de la configuration RAG du bot. Vous pouvez changer le fournisseur et ses paramètres (modèle, température, etc.) : voir la liste des fournisseurs de LLM.
Le bouton Import Rag settings dump charge les réglages du LLM depuis un export de réglages RAG, par exemple pour essayer la configuration d'un autre bot ou d'un autre environnement.
Prompt
Saisissez le prompt dans la zone de saisie, ou utilisez le menu du prompt pour :
- Load current bot prompt : charger le prompt de réponse de la configuration RAG du bot,
- Load default prompt : charger le prompt RAG par défaut,
- Clear prompt : vider le prompt.
Envoyez ensuite la requête. La réponse s'affiche avec son temps de réponse. L'historique des requêtes peut être parcouru dans les deux sens, et vidé.
Observabilité
Si un fournisseur d'observabilité est configuré pour le bot, chaque réponse propose un lien vers sa trace (par exemple dans Langfuse), pour voir la requête exacte envoyée au modèle, la consommation de tokens et la latence.
Chat with Tock