Tester le bot
Dernière mise à jour
Cet article vous a-t-il été utile ?
Dernière mise à jour
Cet article vous a-t-il été utile ?
Au fur et à mesure que vous construisez votre bot dans le BMS Dydu, vous pouvez utiliser le bot de test pour voir comment le bot répond aux questions de l'utilisateur afin que vous puissiez détecter et corriger tout comportement inattendu.
Allez à la page Connaissances et cliquez sur le bouton Tester mon bot en haut à gauche de la liste des connaissances.
Il est conseillé de cliquer sur nouvelle conversation en haut à droite du panneau de bot de test pour effacer les conversations précédentes. Effacer les conversations précédentes permet d'effacer tous les paramètres (comme les variables ou conditions de rebond) utilisés par le bot qui affecteront les résultats de matching.
Pour démarrer une conversation avec le bot de test en mode "production", il vous suffit d'activer l'option dialogue pour production .
Dans la zone de saisie "Tapez votre question ici" en bas du bot de test, entrez la question d'utilisateur prédéfinie pour démarrer la conversation.
Elle peut être écrite de la même manière que la question de l'utilisateur dans la connaissance, avec des fautes d'orthographe intentionnelles ou en remplaçant certains mots par leurs synonymes.
Cela vous permettra de détecter toute faiblesse de votre bot et de l'enrichir.
Si vous avez plusieurs espaces de consultation qui contiennent des réponses différentes pour une même question d'utilisateur, utilisez la liste déroulante en bas du bot de test pour choisir l'espace de consultation dans lequel vous voulez exécuter votre test.
Dans ce cas, vous pouvez entraîner le bot à reconnaître la question soit en créant une nouvelle connaissance, soit en ajoutant une formulation à une connaissance existante.
Quand le bot ne comprend pas une question d'utilisateur, cela implique qu'après le traitement de la question, le bot n'a pas pu identifier une connaissance avec un score de matching suffisamment élevé pour fournir une réponse.
Par conséquent, vous pouvez enrichir la connaissance la mieux notée par le bot par rapport à la question d'utilisateur pour améliorer son score de matching. Ainsi, elle pourra être utilisée par le bot comme réponse.
Pour ce faire :
Cliquer sur l'icône Loupe ("Rechercher") au-dessus de la réponse du bot de test.
Cela ouvrira à droite de votre écran une liste de connaissances qui ont été analysées par le bot pour cette question classée selon le score du plus haut au plus bas.
Choisissez la connaissance qui se rapproche le plus de l'intention de l'utilisateur et cliquez sur Compléter cette connaissance.
Confirmez (ou modifiez si nécessaire) la nouvelle formulation que vous souhaitez associer à cette connaissance et cliquez sur le bouton Associer.
Vous recevrez un message de confirmation que la nouvelle formulation est maintenant associée à la connaissance. Vous pouvez tester à nouveau le bot pour vérifier sa réponse.
Pour créer une nouvelle connaissance à partir du bot de test, cliquez sur le bouton + au-dessus de la réponse du bot.
Cela ouvrira le panneau d'édition de connaissances à droite de l'écran avec la question d'utilisateur préremplie :
Modifiez cette connaissance comme vous le faites habituellement.
Réinitialisez la conversation du bot de test et posez-lui la même question. Le bot devrait maintenant vous donner la réponse attendue.
La fonctionnalité Debug du bot de test vous permet d'obtenir des informations sur le comportement de votre bot comme l'utilisation des variables, journal de conversations, détails sur le matching, etc.
Suite à une réponse du bot, vous pouvez ouvrir le panneau de débogage pour vérifier comment le bot a traité la question.
Comme indiqué dans l'image ci-dessous, dans la section Matching les connaissances qui ont été analysées par le bot sont triées par scores et bots correspondants.
La connaissance avec le score le plus élevé est fournie comme réponse du bot.
Veuillez noter que quand le bot social et le bot métier ont respectivement une connaissance qui correspond à la question d'utilisateur, c'est toujours le bot métier qui répond.
Score du matching avec une connaissance :
Le score de chaque intention dans la base de connaissance varie de 0 à 100%
De 0 à 50% : l'intention est considérée comme un échec . Si aucune intention avec un score plus élevé n'est trouvée, la phrase de l'utilisateur est considéré comme non-comprise.
De 50% à 79,98% : l'intention est considérée comme une reformulation (ou reword). Si aucune intention avec un score plus élevé n'est trouvée, des intentions alternatives sont proposées à l'utilisateur.
Au delà de 80% : l'intention est considérée comme un match direct (direct match). Une réponse est fournie à l'utilisateur en utilisant l'intention avec le meilleur score.
Un score de 0 signifie qu'il n'y a aucun point commun entre les deux phrases, tandis qu'un score de 100% signifie que les deux phrases sont identiques.
Matching avec Dydu :
Si le matching direct donne un score ≥ 820, ou bien un score ≥ 700 avec un scoreMatch ≥ 820, alors on considère que c’est un match Dydu.
Si un mot-clé déclenche une reformulation obligatoire, alors on passe par un reword Dydu.
Sinon, matching avec un LLM :
Si aucun résultat satisfaisant n’est trouvé avec Dydu, on effectue un matching via un LLM.
Si le LLM retourne un résultat avec un score supérieur à un certain seuil, ce résultat est retenu (match LLM).
Seuils de score selon le fournisseur LLM :
OPENAI
0.4
SCALEWAY
0.4
0.6
MISTRAL
0.65
par défaut pour un inconnu
0.5
Parfois, le bot trouve une connaissance avec un score de matching à 100%. Cependant, le bot n'a pas utilisé cette connaissance pour répondre à la question de l'utilisateur. Pourquoi?
Il y a plusieurs raisons à cela.
La connaissance est désactivée :
lorsque le bot trouve une correspondance avec une connaissance désactivée, le bot se comporte comme s'il y a 0 correspondance (ce qui signifie qu'il ne répondra même pas avec la deuxième connaissance la plus correspondante). Dans ce cas, veuillez modifier le statut de votre connaissance pour la rendre "utilisable" par l'algorithme.
Correspondance avec un mot-clé :
lorsque le bot trouve une correspondance avec un mot-clécontenu dans une connaissance, cette dernière sera considérée par le bot comme la réponse la plus appropriée, même s'il y a d'autres connaissances qui ont des scores plus élevés. Dans ce cas, veuillez modifier le mot-clé.
Il y a une correspondance après reformulation mais l'option "activer la reformulation" n'est pas activée sur la connaissance correspondante :
lorsque le bot ne trouve pas de correspondance directe entre la question de l'utilisateur et la base de connaissance, il va chercher une connaissance dont l'intention se rapproche le plus de la question d'origine et l'utiliser pour répondre.
Dans ce cas, la connaissance utilisée est considérée comme une reformulation de la question initiale. Cependant, si l'option "activer la reformulation" n'est pas choisie sur cette connaissance, le bot ne peut pas l'utiliser dans ce cas d'une recherche de reformulation. Dans ce cas, veuillez activer cette option.
Il y a une correspondance après reformulation mais la connaissance en tant que branche d'un arbre de décision n'est pas en accès direct :
si la connaissance de reformulation est une branche d'un arbre de décision et l'accès direct n'est pas autorisé, le bot ne l'utilisera pas pour répondre à la question de l'utilisateur. Dans ce cas, veuillez activer l'option "accès direct".
L'option "n'afficher que les reformulations publiées" est activée alors que la connaissance de reformulation n'est pas publiée :
l'option "n'afficher que les reformulations publiées" permet au gestionnaire du bot de ne tester que sur les connaissances finalisées et publiées.
Par conséquent, si une connaissance de reformulation n'est pas publiée, elle ne sera pas utilisée par le bot pour fournir des réponses. Dans ce cas, veuillez publier votre connaissance ou désactiver l'option.
Voici des principaux cas que vous pourriez rencontrer si le bot ne propose pas la réponse souhaitée. Si aucune de ces explications ne vous aide à résoudre votre problème, veuillez contacter notre équipe support.
Pour en savoir plus sur l'espace de consultation, référez-vous
Quand le bot de test ne comprend pas une question d'utilisateur, il fournit une phrase d'incompréhension affichée en orange. (Cette phrase peut être personnalisée.)
Le panneau Debug est accessible en haut à droite du bot de test en cliquant sur le bouton .
En cliquant sur l'icône , vous pouvez regarder comment le bot a traité chaque mot de la question de l'utilisateur. Il est utile de regarder ce panneau (dans l'image ci-dessous) surtout quand vous obtenez des réponses inattendues de la part du bot.
