Outils

Audit​

Les audits vous permettent de mesurer manuellement, sur un échantillon de conversations, la pertinence des réponses apportées par votre bot en évaluant la qualité du matching. En résultat de votre audit vous obtenez un indice qui est en fait un point de comparaison.

Effectuer régulièrement cela vous permet de mesurer les progrès du bot grâce à votre processus d'amélioration de la base de connaissance.

Par exemple, l'audit va permettre au manager du bot de confirmer ou non les réponses données par le bot, de valider que le bot a choisi la bonne connaissance permettant ainsi de détecter les faux positifs.

Nous conseillons de réaliser un audit en moyenne une fois par trimestre. Pour réaliser un audit :

1. Dirigez-vous sur la page des Contenus > Outils > Audit

2. Cliquer sur le bouton "Ajouter" pour créer un nouvel audit

3. Donnez un titre à votre audit

4. Sélectionnez :

   • la taille de l'échantillon de conversations à mesurer

   • la période de votre audit

   • éventuellement un espace de consultation spécifique

Une ligne récapitulative de votre audit est dès lors disponible :

• Période : correspond à la date du début de la période de l'audit ;

• Créateur : correspond au nom du créateur de l'audit ;

• Titre : correspond au titre donné lors de la création de l'audit ;

• Espace de consultation : correspond à l'espace de consultation que vous avez sélectionné ;

• Taille : taille de l'échantillon que vous avez choisi ;

• Réponses directes : le chatbot a directement répondu à la question de l'internaute ;

• Reformulations : le chatbot n'étant pas certain d'avoir compris la question de l'internaute, il lui a proposé 1 à 3 questions pouvant correspondre à celle de l'internaute ;

• Phrases incomprises : le chatbot n'a pas compris la question de l'internaute ;

• Complété : il s'agit de l'avancement de votre audit (lorsque vous démarrez un audit, il est déjà en partie complété car il y a des questions en double et celles-ci sont déjà regroupées) ;

• Note : selon les résultats de l'audit, une note est attribuée entre 0 et 100 % ;

• Réponses incorrectes : cette partie sera remplie quand vous aurez terminé l'audit. Il s'agit du nombre de réponses incorrectes définies grâce à l'audit.

Survolez la ligne de l'audit. Vous pouvez le modifier ou le supprimer. Pour démarrer votre audit cliquez sur le bouton Modifier.

Trois filtres pour votre audit sont alors affichés :

• Etat de l'action

• A corriger

• Résumé

Etat de l'action​

Dans cette section, vous trouverez l'ensemble des interactions de votre échantillon. Au fur et à mesure de votre traitement, les interactions seront organisées selon la classification que vous leur donnerez.

Pas encore traité

Il s'agit des interactions que vous n'avez pas encore contrôlées. Le contrôle a effectuer va dépendre du matching de l'interaction :

• Réponse directe : vérifiez que les réponses fournies par le chatbot sont correctes. Vous avez la question posée par l'internaute et la connaissance utilisée par le chatbot pour apporter la réponse. Il faut alors décider si

  • la connaissance utilisée par le chatbot était la bonne connaissance : choisissez OK

  • il aurait du matcher avec une autre connaissance, choisissez : Une autre connaissance

  • la question de l'utilisateur ne rentre pas dans le périmètre du chabot, choisissez : Hors périmètre

• Reformulation : vérifiez si les propositions de reformulations réalisées par le chatbot sont pertinentes ou non. Il vous faut décider si :

  • la proposition de reformulation était nécessaire, choisissez : OK

  • l'une des propositions était la bonne, choisissez : L'une des connaissances proposées

  • aucune des propositions ne correspond à la question de l'internaute, choisissez : Une autre connaissance

  • la question de l'utilisateur contenait des informations superflues, choisissez : Phrase longue avec du bruit

  • la question de l'utilisateur contenait des plusieurs questions, choisissez : Phrase longue avec plusieurs connaissances

  • la question de l'utilisateur ne rentrait pas dans le périmètre du chabot, choisissez : Hors périmètre

• Phrase incomprise : vérifiez si une phrase qui a été incomprise par le chatbot aurait pu être comprise. Il vous faut choisir si :

  • vous validez qu'il s'agit d'une phrase incompréhensible par le chatbot et à laquelle il n'existe aucune connaissance, choisissez : Ok

  • la question de l'utilisateur contenait des informations superflues, choisissez : Phrase longue avec du bruit

  • la question de l'utilisateur contenait des plusieurs questions, choisissez : Phrase longue avec plusieurs connaissances

  • Si la question de l'utilisateur ne rentrait pas dans le périmètre du chabot, choisissez : Hors périmètre

Note : Pour chaque interaction à traiter, vous pouvez cliquez sur Afficher la conversation pour situer la question de l'utilisateur dans le contexte de la conversation.

Une fois les interactions traitées, elles sont organisées selon le choix de classification qui a été effectué. Vous pouvez annuler la classification.

A corriger​

Dans cette section, vous trouverez l'ensemble des interactions de votre échantillon à corriger. Ces dernières sont organisées selon le choix de classification qui a été effectué à l'étape "Etat de l'action".

Pour chaque interaction, est affiché :

• la question de l'utilisateur

• la connaissance que le chatbot à fourni comme réponse

• l'espace de consultation qui était interrogé

Lorsque vous cliquez dans le champ Choisir la connaissance, la liste des connaissances proches de la question de l'utilisateur s'affiche. Cliquez ensuite sur la bonne connaissance à laquelle associer cette question puis cliquez sur Appliquer la correction. En cliquant sur ce bouton vous ajouterez la question de l'utilisateur en tant que formulation de la connaissance.

Vous pouvez, au contraire, choisir d'ignorer la correction ou encore d'annuler la classification initialement effectuée.

Résumé​

Une fois l'audit terminé, cliquez sur l'onglet Résumé pour accéder aux tableaux récapitulatifs de l'audit.

Un premier tableau vous présente l'état d'avancement de votre audit.

Le deuxième tableau vous donne un récapitulatif chiffré de votre Audit ainsi qu'une note finale.

Lorsque vous aurez réalisé plusieurs audits, un graphique apparaitra sur la page Contenus > Outils > Audits.

Ce graphique montre l'évolution de la pertinence des réponses apportées en fonction des différents audits réalisés.

Voici la légende :

• Vert : proportion de réponses directes

• Noir : proportion de reformulations

• Orange : proportion de phrases incomprises

• Bleu : score

• Rouge : proportion de réponses incorrectes

Conversations tests​

Lorsque vous avez des cheminements de conversations assez complexes, vous pouvez enregistrer une conversation qui s'est bien déroulée dans les conversations tests en tant que modèle (depuis la page des Conversations)

1. Cliquez sur une conversation

2. Cliquez sur l'icône "copier le dialogue" lorsque vous êtes sur un dialogue que vous voulez sauvegarder.

3. Cliquez sur Copier.

1. Retournez ensuite sur le menu Conversations tests et vous pourrez ainsi rejouer les conversations pour vous assurer que le bot répond toujours comme attendu. Allez dans Contenus > Outils > Conversations tests

Retrouvez plus d'informations sur les conversations sur cette page.

Connaissances proches​

Ce menu permet de repérer les connaissances dont les formulations de questions sont proches. Il permet de se rendre compte, par exemple, que deux connaissances pourraient en réalité en être qu'une seule.

Ce menu vous permet également de consulter les dernières modifications qui ont été effectuées et par qui elles l'ont été, sur la période sélectionnée, sous une autre vue que le menu Historique.

Cela vous permet notamment de pouvoir effectuer directement les modifications si vous constatez une erreur lors d'une modification. Cela peut être particulièrement utile pour un relecture lorsqu'il doit valider les derniers changements effectués sur la base de connaissances.

Allez dans Contenus > Outils > Connaissances proches.

Historique​

L'historique vous permet de visualiser toutes les modifications qui ont été effectuées sur la base de connaissances. Vous pouvez filtrer ces modifications par type d'action et par utilisateur.