Outils
Dernière mise à jour
Dernière mise à jour
Tous droits réservés @ 2023 dydu.
Les audits vous permettent de mesurer manuellement, sur un échantillon de conversations, la pertinence des réponses apportées par votre bot en évaluant la qualité du matching. En résultat de votre audit vous obtenez un indice qui est en fait un point de comparaison.
Effectuer régulièrement cela vous permet de mesurer les progrès du bot grâce à votre processus d'amélioration de la base de connaissance.
Par exemple, l'audit va permettre au manager du bot de confirmer ou non les réponses données par le bot, de valider que le bot a choisi la bonne connaissance permettant ainsi de détecter les faux positifs.
Nous conseillons de réaliser un audit en moyenne une fois par trimestre. Pour réaliser un audit :
Dirigez-vous sur la page des Contenus > Outils > Audit
Cliquer sur le bouton "Ajouter" pour créer un nouvel audit
Sélectionnez :
la taille de l'échantillon de conversations à mesurer
la période de votre audit
éventuellement un espace de consultation spécifique
Une ligne récapitulative de votre audit est dès lors disponible :
Période : correspond à la date du début de la période de l'audit ;
Créateur : correspond au nom du créateur de l'audit ;
Espace de consultation : correspond à l'espace de consultation que vous avez sélectionné ;
Taille : taille de l'échantillon que vous avez choisi ;
Réponses directes : le chatbot a directement répondu à la question de l'internaute ;
Reformulations : le chatbot n'étant pas certain d'avoir compris la question de l'internaute, il lui a proposé 1 à 3 questions pouvant correspondre à celle de l'internaute ;
Phrases incomprises : le chatbot n'a pas compris la question de l'internaute ;
Complété : il s'agit de l'avancement de votre audit (lorsque vous démarrez un audit, il est déjà en partie complété car il y a des questions en double et celles-ci sont déjà regroupées) ;
Note : selon les résultats de l'audit, une note est attribuée entre 0 et 100 % ;
Réponses incorrectes : cette partie sera remplie quand vous aurez terminé l'audit. Il s'agit du nombre de réponses incorrectes définies grâce à l'audit.
Survolez la ligne de l'audit. Vous pouvez le modifier ou le supprimer. Pour démarrer votre audit cliquez sur le bouton Modifier.
Trois filtres pour votre audit sont alors affichés :
Etat de l'action
A corriger
Résumé
Dans cette section, vous trouverez l'ensemble des interactions de votre échantillon. Au fur et à mesure de votre traitement, les interactions seront organisées selon la classification que vous leur donnerez.
Pas encore traité
Il s'agit des interactions que vous n'avez pas encore contrôlées. Le contrôle a effectuer va dépendre du matching de l'interaction :
Réponse directe : vérifiez que les réponses fournies par le chatbot sont correctes. Vous avez la question posée par l'internaute et la connaissance utilisée par le chatbot pour apporter la réponse. Il faut alors décider si
la connaissance utilisée par le chatbot était la bonne connaissance : choisissez OK
il aurait du matcher avec une autre connaissance, choisissez : Une autre connaissance
la question de l'utilisateur ne rentre pas dans le périmètre du chabot, choisissez : Hors périmètre
Reformulation : vérifiez si les propositions de reformulations réalisées par le chatbot sont pertinentes ou non. Il vous faut décider si :
la proposition de reformulation était nécessaire, choisissez : OK
l'une des propositions était la bonne, choisissez : L'une des connaissances proposées
aucune des propositions ne correspond à la question de l'internaute, choisissez : Une autre connaissance
la question de l'utilisateur contenait des informations superflues, choisissez : Phrase longue avec du bruit
la question de l'utilisateur contenait des plusieurs questions, choisissez : Phrase longue avec plusieurs connaissances
la question de l'utilisateur ne rentrait pas dans le périmètre du chabot, choisissez : Hors périmètre
Phrase incomprise : vérifiez si une phrase qui a été incomprise par le chatbot aurait pu être comprise. Il vous faut choisir si :
vous validez qu'il s'agit d'une phrase incompréhensible par le chatbot et à laquelle il n'existe aucune connaissance, choisissez : Ok
la question de l'utilisateur contenait des informations superflues, choisissez : Phrase longue avec du bruit
la question de l'utilisateur contenait des plusieurs questions, choisissez : Phrase longue avec plusieurs connaissances
Si la question de l'utilisateur ne rentrait pas dans le périmètre du chabot, choisissez : Hors périmètre
Note : Pour chaque interaction à traiter, vous pouvez cliquez sur Afficher la conversation pour situer la question de l'utilisateur dans le contexte de la conversation.
Une fois les interactions traitées, elles sont organisées selon le choix de classification qui a été effectué. Vous pouvez annuler la classification.
Dans cette section, vous trouverez l'ensemble des interactions de votre échantillon à corriger. Ces dernières sont organisées selon le choix de classification qui a été effectué à l'étape "Etat de l'action".
Pour chaque interaction, est affiché :
la question de l'utilisateur
la connaissance que le chatbot à fourni comme réponse
l'espace de consultation qui était interrogé
Lorsque vous cliquez dans le champ Choisir la connaissance, la liste des connaissances proches de la question de l'utilisateur s'affiche. Cliquez ensuite sur la bonne connaissance à laquelle associer cette question puis cliquez sur Appliquer la correction. En cliquant sur ce bouton vous ajouterez la question de l'utilisateur en tant que formulation de la connaissance.
Vous pouvez, au contraire, choisir d'ignorer la correction ou encore d'annuler la classification initialement effectuée.
Une fois l'audit terminé, cliquez sur l'onglet Résumé pour accéder aux tableaux récapitulatifs de l'audit.
Un premier tableau vous présente l'état d'avancement de votre audit.
Le deuxième tableau vous donne un récapitulatif chiffré de votre Audit ainsi qu'une note finale.
Lorsque vous aurez réalisé plusieurs audits, un graphique apparaitra sur la page Contenus > Outils > Audits.
Ce graphique montre l'évolution de la pertinence des réponses apportées en fonction des différents audits réalisés.
Voici la légende :
Vert : proportion de réponses directes
Noir : proportion de reformulations
Orange : proportion de phrases incomprises
Bleu : score
Rouge : proportion de réponses incorrectes
Lorsque vous avez des cheminements de conversations assez complexes, vous pouvez enregistrer une conversation qui s'est bien déroulée dans les conversations tests en tant que modèle (depuis la page des Conversations)
Cliquez sur une conversation
Cliquez sur l'icône "copier le dialogue" lorsque vous êtes sur un dialogue que vous voulez sauvegarder.
Cliquez sur Copier.
Retournez ensuite sur le menu Conversations tests et vous pourrez ainsi rejouer les conversations pour vous assurer que le bot répond toujours comme attendu. Allez dans Contenus > Outils > Conversations tests
Retrouvez plus d'informations sur les conversations sur cette page.
Ce menu permet de repérer les connaissances dont les formulations de questions sont proches. Il permet de se rendre compte, par exemple, que deux connaissances pourraient en réalité en être qu'une seule.
Ce menu vous permet également de consulter les dernières modifications qui ont été effectuées et par qui elles l'ont été, sur la période sélectionnée, sous une autre vue que le menu Historique.
Cela vous permet notamment de pouvoir effectuer directement les modifications si vous constatez une erreur lors d'une modification. Cela peut être particulièrement utile pour un relecture lorsqu'il doit valider les derniers changements effectués sur la base de connaissances.
Allez dans Contenus > Outils > Connaissances proches.
L'historique vous permet de visualiser toutes les modifications qui ont été effectuées sur la base de connaissances. Vous pouvez filtrer ces modifications par type d'action et par utilisateur.
