Chatbots können eine Vielzahl von Funktionen und Prozessen abbilden. Im einfachsten Fall dienen Chatbots als „digitale Lotsen“, die Nutzer:innen bei der Navigation im Web mit Verweisen, Links oder einfachen Antworten weiterhelfen. Im Kundenservice werden Chatbots jedoch oftmals auch für komplexere Prozesse verwendet. Chatbots können beispielsweise an ERP-Systeme angebunden werden und somit mit nutzerindividuellen dynamischen Informationen statt nur mit statischen Texten antworten. Beispielsweise können in einem Chatbot-Dialog Stammdaten wie Adresse oder Vertragsnummer des Nutzenden erfragt werden, um einen individuellen Prozess wie die Kündigung eines Vertrages anzustoßen.
Nutzerfreundlichkeit ist für einen Chatbot überlebenswichtig. Ist ein Chatbot nicht nutzerfreundlich, sorgt er nicht nur für Frustration, sondern potentielle Nutzer:innen werden den Servicekanal auch zunehmend meiden. Es entsteht eine schlechte Reputation für den Chatbot, die auch auf den Betreiber abfärben kann. Die Chatbot-Betreiber:innen müssen daher bei der Wahl und Gestaltung ihres Chatbots auf folgende Aspekte achten: 1. Zuerst muss das Interface des Chatbots, das Chat-Widget, intuitiv gestaltet sein. Hinsichtlich der Funktion des Chatbots hängt 2. ein Großteil des Nutzererlebnisses von der Performance der Spracherkennung mittels KI ab. Denn der Chatbot muss das Anliegen der Nutzer:innen korrekt verstehen und daraufhin, 3., auch angemessen adressieren und bearbeiten.
Es gibt eine Vielzahl von Möglichkeiten Chatbots auf Ihre Qualität und Performance zu prüfen. Zum einen können Einschätzungen von Expert:innen helfen, Chatbots zu bewerten und zu verbessern. Darüber hinaus können User Tests genutzt werden, um auch Feedback von unbedarften potentiellen Endkund:innen zu erhalten. Zuletzt liegt in den Log-Daten eines aktiven Chatbots ein wachsendes Potential, um in großer Menge die Performance eines Chatbots zu evaluieren.
Ein zunehmender Teil der Chatbot-Forschung beschäftigt sich daher mit der Auswertung von Chatbot-Log-Daten. Aus diesen können nicht nur einfach Metriken wie die Anzahl von Konversationen und Nachrichten oder die Themenverteilung, sondern auch die Dialogverläufe der NutzerInnen nachvollzogen und analysiert werden. Voraussetzung hierfür ist die konsistente und systematische Datenerfassung der Nutzer:innen-Chatbot-Interaktion, bei der jedes reale Frontend-Ereignis, zum Beispiel ein Klick auf einen Button, in einheitlichem Format konsistent geloggt wird. Mittels geeigneter Systeme zur Datentransformation und -visualisierung können daraufhin Chatbot-Betreiber:innen, beispielsweise im Kundenservice, in die Lage versetzt werden, schnell zu erkennen, wo Probleme im Chatbot liegen. Sogenannte Conversation Mining Systeme verdeutlichen beispielsweise, welche Nutzereingaben problematisch für das Sprachmodell sind oder an welchen Stellen eines diskreten Dialogprozesses NutzerInnen ausscheiden, also eine Art „Engpass“ vorliegt. Entscheider können daraufhin, unterstützt durch das Conversation Mining, Sprachmodell, Antworten und Dialogabläufe des Chatbots bedarfsgerecht anpassen und diesen somit kontinuierlich verbessern. Auch am Karlsruher Institut für Technologie (KIT) wird dies gemeinsam mit Praxispartnern wie den Chatbot-Entwickler:innen des KMU hsag Heidelberger Services AG beforscht. Mit Hilfe des Konzepts und der Entwicklung von Conversation Mining Systemen bekommen Chatbot-Forscher:innen und -Entscheider:innen Wissen an die Hand, wie Chatbot-Interaktionen als Daten erfasst und ausgewertet werden können. Chatbot-Entwickler:innen und -Betreiber:innen können auf dieser Grundlage bestmögliche und informierte Handlungsempfehlungen für Einsatz und Design ihres Chatbots aus Nutzungsdaten ableiten.
Schloss, D., Gnewuch, U. & Maedche, A. (2022, December). Towards Designing a Conversation Mining System for Customer Service. In International Conference on Information Systems (ICIS) (Vol. 2022). (Link)
20.10.22