Qualification

Cette section vous permet d'analyser le taux conversations en échecs par la qualification des conversations ou bien le taux d'incomprehension par la qualification des interactions. Vous trouverez de nombreux graphiques pour vous aider à observer la qualification de vos conversations et interaction dans cette rubrique.

Qualification des conversations

Qualification des conversations

Les conversations ainsi que les interactions qui les composent sont classées en 3 catégories en fonction de leur qualification. Les 3 catégories de qualification sont les suivantes :

• Uniquement réponses directes: la conversation se compose seulement de questions/réponses directes. Cela signifie que le bot a su comprendre toutes les questions et y apporter les réponses ;

• Terminant par une réponse directe : au cours de la conversation, il peut y avoir une reformulation de la question ou une incompréhension mais la conversation se termine par une réponse directe ;

• En échec : la conversation se termine par une question incomprise ou sur une proposition de formulations et l'internaute n'a cliqué sur aucune d'elles.

Les deux premières catégories sont considérées comme des conversations réussies. L'évolution de la répartition des conversations au cours du temps reflète l’entraînement du bot.

La page des statistiques de qualification présente donc la répartition des conversations et des interactions par type de qualification. Au clic sur une des statistiques, les détails pour cette dernière sont affichés.

Qualification des conversations avec contacts fournis

Lors de la création d’une connaissance, si la réponse renseigne un contact extérieur au bot il est possible de spécifier le type de contact fourni, cela permet de connaître la solution alternative proposée aux utilisateurs selon la qualification. Ainsi, il est possible de connaître, parmi le pourcentage d'échecs, ce qui a été proposé aux internautes qui n'ont, a priori, pas eu leur réponse par le biais du bot et qui ont donc été redirigé vers un autre type de contact qui pourra les renseigner.

Qualification des conversations selon le nombre d'interactions

Qualifications des conversation selon le nombre d'interactions ( en %)

Qualification des conversations par navigateur

Qualification des interactions

Pour la qualification des interactions, il est possible d’obtenir dans le BMS plusieurs détails : le type d’interactions avec la probabilité de l’interaction suivante, la qualification des interactions en fonction de la longueur des phrases, ainsi que la qualification selon le nombre de mots par question.

La qualification par interactions repose sur l’analyse de l’ensemble des interactions enregistrées, à l’exception de celles issues de conversations de test ou de qualification, qui sont systématiquement ignorées.

Certaines interactions sont également exclues du calcul, notamment celles qui correspondent à des connaissances ignorées dans les statistiques. Toutes les autres interactions sont ensuite réparties dans 14 catégories, chacune correspondant à un type précis d’événement ou de traitement :

• CHART_BUSINESS_MATCH (0)

• CHART_PROTOCOL_MATCH (1)

• CHART_DISABLED_KNOWLEDGE (2)

• CHART_REWORD (3)

• CHART_OUT_OF_SCOPE (4)

• CHART_GARBAGE (5)

• CHART_CLICKED_REWORD (6)

• CHART_NO_INTERACTION (7)

• CHART_OPERATOR (8)

• CHART_OTHERS (9)

• CHART_CLICKED_REDIRECTION_LINK (10)

• CHART_PUSH (11)

• CHART_CLICKED_REWORD_AUTO (12)

• CHART_CLICKED_JAVASCRIPT_LINK (13)

Seules les interactions de production (hors tests, qualifications et connaissances ignorées) sont donc prises en compte et ventilées dans ces catégories, qui sont consultables dans les statistiques du BMS.

Pour le calcul du taux d’échec dans les statistiques V1, seule la catégorie CHART_GARBAGE (5) est considérée comme un échec. Les autres catégories ne sont pas comptabilisées dans les échecs.

Qualification des réponses

Qualification des interactions en fonction de la longueur des phrases

Qualification des interactions selon le nombre de mots par question (%)