Warum Chatbot Analytics? Teil 1/2

Dieser Blog führt in das Thema Chatbot Analytics ein. Chatbot Analytics umfasst den Prozess von der Definition der relevanten Metriken, Aufsetzen des Trackings, der Analyse bis hin zur Optimierung von Botsystemen. Bevor wir in die Tiefe eintauchen, möchten wir euch einen Überblick über die Thematik in unserem ersten Teil geben:

• Wieso benötigt es Analytics für Chatbots und Sprachassistenten?
• Welche Key Performance Indices sind für Chatbots wichtig?
• Wie analysiert man einen Chatbot richtig?
• Welche Chatbot Analytics Tools gibt es?

Wieso benötigt es Chatbot Analytics?

Ohne Datenbasis, keine richtige Entscheidungsgrundlage - Ob der Chatbot tatsächlich sein Ziel erreicht und somit zum Gesamt-Business-Ziel beiträgt, lässt sich nur dann erkennen, wenn einerseits die richtigen Kennzahlen definiert und andererseits diese korrekt gemessen und interpretiert werden.

Analytics als Entscheidungsgrundlage bei Innovationen

Innovationsprojekte lassen sich leider häufig schwer gegenüber dem Management rechtfertigen, denn sie werden nicht selten als ressourcenintensiv angesehen, benötigen bei den Mitarbeitenden neues Wissen oder werden oft von der operativen Organisation als “nicht notwendig” eingestuft. Darum ist es umso wichtiger, die Vorteile und Nutzen von Innovationen auf Basis von Fakten dem Management aufzuzeigen. Wenn dein Manager sieht, dass der neue Shopbot zu 20% mehr Bestellungen geführt hat, oder dass die Unternehmensseite aufgrund des neuen Voicebots 30% mehr Traffic aufweist als zuvor, dann sind das klare Fakten, welche das Innovationsprojekt rechtfertigen.

Ähnlich wie bei Business Intelligence oder Web Analytics Projekten, ist es wichtig, dass mit dem Projektziel, die entsprechenden Key Performance Indices abgeleitet und definiert werden. Bei Web Analysen sollten sogenannte “Actionable Metrics”, also Metriken definiert werden, mit denen sich effektive Aktionen und damit Verbesserungen erzielen lassen. So nützt die Information “Der Chatbot hat durchschnittlich 3000 Nutzer pro Monat” weniger als die Aussage “3% von 3000 Bot-Nutzer sind zu einem Lead konvertiert" (Conversion Rate). Zwar lässt sich die Nutzeranzahl erhöhen, doch ob ein Bot wirklich nützlich ist, lässt sich durch die effektive Leads-Generierung effektiver messen. Nicht zuletzt lasst sich ein Botsystem nur verbessern und in die richtige Richtung weiterentwickeln, wenn dessen Nutzen - insbesondere durch die Konversationen - gemessen werden.

Chatbot Analytics als Monitoring Tool

Chatbot Analytics ermöglicht es festzustellen, ob der Bot richtig funktioniert oder Fehler, Ausfallzeiten oder im schlimmsten Fall Angriffe auftreten. Das NLP-Modell lässt sich überwachen und das Verständnis des Bots somit optimieren. Fehlt dieses Monitoring, ist dies äusserst suboptimal für den Betrieb eines Digitalassistenten.

Chatbot versus Web Analyse: Wo sind die Unterschiede?

Zum Beispiel konnte die BLS-Studie anhand der Analysedaten erkennen, welche Kundenanfragen am häufigsten gestellt wurden. So erkannten wir in der halbjährigen Studie, dass viele Nutzer nach Themen rund um den “Autoverlad am Göschenen Tunnel” gefragt hatten. Solche Dateneinsichten unterstützen Produkt- oder Kundendienstverantwortliche dabei, das Angebot oder den Kundenservice zu optimieren.

Welche Key Performance Indices sind für Chatbots wichtig?

Die wichtigsten Kennzahlen haben wir für euch hier zusammengefasst:

• Aktive Nutzer: Ein Nutzer wird dann gezählt, sobald ein Mensch mit dem Computer kommuniziert. Die aktiven Nutzer geben Auskunft darüber, wie die Nutzungsrate des Bots ist und damit auch stückweise wie erfolgreich er ist. Geht ein Nutzer mit einem anderen Gerät oder Browser auf den Bot, zählt dies als neuer Nutzer. Bei Voicebots hängt die Identifikation des Nutzers auch häufig davon ab, ob dieser “Voice-Match” und die “Personalisierten Einstellungen” aktiviert hat. Sonst wird der Nutzer als “Gastnutzer” gezählt und gleiche, wiederkehrende Nutzer werden nicht als einen Nutzer identifiziert bzw. “doppelt gezählt”.
• Konversationen: Konversationen sind Aufrufe des Bots, welche häufig mehrere Bot- und Nutzernachrichten (sog. “Messages”) enthalten. Wenn keine Nachrichten innerhalb einer bestimmten Dauer mehr erfolgen, gilt die Konversationen als abgeschlossen. Diese “Session-Dauer” wird je nach Tool auf fünf bis n Minuten begrenzt. Insbesondere interessant sind die Anzahl “Message-Turns”, also wie viele Bot- und Mensch-Nachricht während der Konversation ausgetauscht wurden. Viele Message-Turns weisen auf einen sehr engagierten Nutzer hin. Der Nutzer scheint somit Interesse am Bot zu haben.
• Konversationsdauer: Die Konversationsdauer in Minuten zeigt, wie lange ein Nutzer mit dem Chatbot geredet hat. Lange Konversationsdauer sind nicht unbedingt ein Indiz für ein sinnvolles Gespräch. Es muss immer auch die Anzahl Message Turns anhand der Konversation betrachtet werden, denn es kann sein, dass ein Nutzer nur ganz langsam antwortet oder die Session-Dauer von n Minuten zu einer langen Konversation ohne wirkliche Substanz geführt hat. Ist die Konversationsdauer nicht zufriedenstellend, kann dies an den Texten liegen, die optimiert werden müssen.

Für Unternehmen sind hohe Interaktionsraten und eine lange Konversationsdauer sehr relevant, denn sie zeigen, dass ein Nutzer sich mit der Materie des Unternehmens auseinandersetzt und Interesse am Angebot haben könnte.

Wie analysiert man einen Chatbot richtig?

Damit der Chatbot richtig analysiert werden kann, müssen zunächst die KPIs richtig definiert werden. Hierzu gilt es einiges zu beachten:

Funktionaler vs. Erlebnisorientierter Chatbot

Beim funktionalen Bot will der Nutzer möglichst schnell ein Problem oder eine Frage lösen. Zum Beispiel möchte ich als Nutzer beim SBB-Sprachassistenten nicht lange Smalltalks führen, sondern schnell meinen Fahrplan abfragen. Hingegen soll ein Quizzes-Bot spannende Fragen und Antworten stellen und es ist mir als Nutzer wichtig, dass ich möglichst lange und erlebnisreiche Konversationen führen kann. Unternehmen streben hohe Interaktionsraten und eine hohe Einfachheit in der Konversation an, denn sie steigern die Wahrscheinlichkeit eines Leads bzw. Kaufabschlusses im Online-Marketing. Fazit: Aus den Chatbot-Zielen lassen sich die KPIs definieren und dementsprechend messen.

KPI-Beispiele:

• Funktionaler Bot: Die durchschnittliche Konversationsdauer sollte für eine Abfrage des Wetters ohne Zusatzinformationen max. 10 Sek. betragen.
• Erlebnisorientierter Bot: Die durchschnittliche Anzahl Nachrichten pro Nutzer betragen mindestens 8 pro Nutzer.

Abstrakte Konstrukte messen: Wie messe ich, ob der Nutzer mit dem Chatbot zufrieden war?

Die Zufriedenheit lässt sich in der Praxis unterschiedlich messen. So können verschiedene Faktoren (sog. “Items”) gemessen werden, die Zufriedenheit im Chat abgefragt werden oder über Sentiment Analysis und Machine Learning Methoden Prognosen berechnet werden. Studien zeigen jedoch, dass die Sentiment Analyse nicht ideal ist zur Messung der Zufriedenheit bei Chatbots und das gängige Tools noch keine sicheren Ergebnisse liefern. Hier nützt es, sich die Konversationen genauer anzusehen und auch nach Schimpfwörtern der Nutzer sowie die Missverständnisse und Fallbacks (z.B. “Ich habe dich nicht verstanden”) zu analysieren. Ebenso kann die Retention-Rate - sie zeigt wie häufig derselbe Benutzer im Schnitt in der gleichen Woche wieder zurückkommt - Aufschluss geben. Man geht häufig davon aus, dass loyale Benutzer zufrieden mit dem Chatbot sind und diesen wiederverwenden wollen. Eine rasche Absprungrate zu Beginn oder bei speziellen Schritten im Gespräch (z.B. Transaktion) des Chatbot-Gesprächs kann ebenfalls Hinweise darauf geben, ob der Bot für den Nutzer nützlich war.

Welche Chatbot Analytics Tools gibt es?

Die bekanntesten auf dem Markt verwendeten Tools sind Dashbot, Chatbase oder die Analytics Oberfläche der Google Action Console. Die Problematik gängiger Tools ist, dass sie kostenintensiv sind, Performance-Probleme aufweisen, nicht genügend die Business-Ziele abbilden oder dann keine Einsicht in die Transcripts geben. Häufig werden die Daten auch auf unbekannten oder internationalen Servern gespeichert, was Konsequenzen für den Datenschutz- und Sicherheitsbedenken zur Folge hat. Auch raten wir davon ab, Analytics-Daten voreilig in Datenbanken zu schreiben, von mächtigen Analysesoftware abzurufen oder gar ein solches Tool selbst zu entwickeln, ohne sich vorher Gedanken über den Zweck, die Visualisierung und das Budget zu machen. Für Datenbank-Logs müssen zunächst richtige Datenbank-Abfragen geschrieben werden, was sehr zeitintensiv sein kann. Ebenso benötigt die Anbindung an BI-Software wie z.B. Qlikview, Tableau oder Elasticsearch viel Ressourcen und Knowhow und muss häufig in einem separaten Projekt umgesetzt werden. Ein einfaches erstes Chatbot Analytics Dashboard gibt auf einem Blick Einsicht auf die wichtigsten Daten und spart viel Zeit und Geld.

Fazit

Der Artikel zeigt, dass es sich bereits vor dem Chatbot-Projekt lohnt, genügend Zeit für das Analytics zu reservieren, denn die Thematik ist komplex. Paixon bietet das Paixon Analytics Tool an, welches die wichtigsten Komponenten abdeckt, die im Alltag eines Chatbot Owners und Voice Projekt Managers notwendig sind.

Paixon Analytics im Überblick

• Dashboard mit den wichtigsten Key Performance Indices und Visualisierungen
• Übersicht und Suche nach Konversationen
• Filterfunktionen: Nach Zeitraum, nach Bot-Plattformen und -version
• Alle Daten werden in einer Datenbank protokolliert
• Paixon Analytics läuft auf einer Schweizer Cloud-Infrastruktur, welche hohe Sicherheits- und Datenschutz-Standards gewährleistet

Möchtest du mehr zu Chatbot Analytics erfahren? Kein Problem, wir helfen dir gerne weiter unter: Kontakt