Le menu Compressor settings
Un compresseur de documents (ou reranker) réévalue les documents renvoyés par la base vectorielle par rapport à la question, avec un modèle qui lit ensemble la question et chaque document. Il écarte les documents sous un score minimum et garde les meilleurs, pour que le modèle de réponse reçoive moins de documents, mais plus pertinents.
Pour accéder à cette page, il faut bénéficier du rôle admin (plus de détails sur les rôles dans sécurité).
Warning
Dans la chaîne RAG actuelle (multi-query retriever, depuis la version 26.3.3), le compresseur configuré ici n'est pas appliqué lors des réponses : l'activer ou le désactiver n'a aucun effet sur les réponses du bot. Il est utilisé par le diagnostic de recherche, qui montre ce qu'il changerait.
Configuration
- Compressor activation : active ou désactive le compresseur pour le bot.
- Provider : le seul fournisseur disponible dans Tock Studio est
BloomzRerank, un modèle de reranking exposé par un service HTTP :- Endpoint : URL de base du service. L'orchestrateur envoie la question et les documents à sa route
/score. - Label : le label de sortie du modèle utilisé comme score (par ex.
entailment). - Minimum score : les documents dont le score (entre 0 et 1) est inférieur à cette valeur sont écartés.
- Max documents : nombre maximum de documents conservés après reranking.
- Pad with lower-scoring documents : si moins de documents que Max documents atteignent le score minimum, compléter avec les meilleurs documents restants.
- Endpoint : URL de base du service. L'orchestrateur envoie la question et les documents à sa route
L'orchestrateur Gen AI prend aussi en charge l'API Rerank de Bedrock
(fournisseur AwsBedrockRerank, avec l'ARN du modèle de reranking dans model_arn), utilisable uniquement
via son API. Il utilise les identifiants AWS décrits pour AWS Bedrock.
Le compresseur est tolérant aux pannes : si le service de reranking échoue ou ne répond pas à temps, les documents d'origine sont utilisés tels quels.
Les réglages peuvent être exportés (en incluant ou non les données sensibles, comme l'endpoint) puis importés, pour les copier d'un bot ou d'un environnement à l'autre, et supprimés.
Chat with Tock