Einsatz von Conversation Mining zur Verbesserung der Performance von Chatbots im Customer Service

Bei der Chatbot-Analyse werden große Mengen von Log-Daten aus Kunden-Chatbot-Interaktionen analysiert, um wertvolle Erkenntnisse zu gewinnen. Traditionell lag der Schwerpunkt dabei auf einzelnen Nutzernachrichten (Utterances) und High-Level Metriken, während der Verlauf und der Fluss von Konversationen oft vernachlässigt wurden. Process Mining, eine Disziplin, die sich mit der Analyse von Mustern in Sequenzen diskreter Schritte beschäftigt, bietet eine Lösung für diese Einschränkung. Durch die Anwendung von Process Mining-Methoden auf Chatbot-Gespräche können Entwickler und Manager ein tieferes Verständnis der Gesprächsprozesse gewinnen und Bereiche mit Verbesserungspotenzial identifizieren.

Im Rahmen eines Forschungsprojekts am Karlsruher Institut für Technologie wurde eine neue Methode zur Analyse von Chatbots namens "Conversation Mining" entwickelt. Das Projekt zielt darauf ab, die Bedürfnisse der Nutzer durch die Erstellung von leicht zugänglichen und visuell informativen Chatbot-Analysen zu erfüllen. Um die Relevanz zu gewährleisten, wurde unser Projekt in Zusammenarbeit mit einem mittelständischen Industriepartner, der hsag Heidelberger Services AG, durchgeführt. Ziel des Projektes war es, ein Conversation Mining System zu entwickeln, das Chatbot-Entwickler und -Manager bei der Analyse von Kunden-Chatbot-Gesprächen unterstützt, um die Performance zu verbessern. Das Projekt zielte darauf ab, den Bedarf an manueller Analyse zu reduzieren, High-Level-Metriken durch detaillierte Einblicke in die Chatbot-Performance zu ergänzen und Erkenntnisse für mögliche Verbesserungen im operativen Chatbot-Management zu liefern.

Der Problemraum wurde durch Experteninterviews und Literaturrecherche erfasst. Anschließend wurden Process Mining Methoden eingesetzt, um den Conversation Mining Ansatz zu konzipieren. Anschließend wurde ein Prototyp eines Conversation-Mining-Systems entwickelt und in Fokusgruppen mit Kundenservice- und Chatbot-Experten evaluiert. Das Conversation-Mining-System bietet verschiedene Funktionen zur Konversationsexploration, die es dem Benutzer ermöglichen, die Häufigkeit von Intentionen/Themen und Interaktionstypen zu untersuchen und problematische Konversationssituationen zu identifizieren. Es bietet auch eine Konformitätsprüfung, um ideale Dialogprozesse mit realen Prozessen zu vergleichen, was Entwicklern und Managern hilft, Engpässe zu identifizieren und die Leistung von Chatbots zu optimieren. Die Evaluationsergebnisse zeigen, dass die Conversation-Mining-Methode und das zugehörige System das Potenzial haben, wertvolle Einblicke in Dialogprozesse zu liefern. Dies kann zu Verbesserungen im Management und in der Leistung von Chatbots führen. Die Forschung beleuchtet auch die Herausforderungen bei der Gewinnung von Erkenntnissen aus Chatbot-Daten und unterstreicht die Vorteile der Nutzung von Process Mining im Kontext von Chatbot-Konversationen.

Chatbot Analytics, insbesondere Conversation Mining, bietet einen vielversprechenden Ansatz zur Verbesserung der Chatbot-Performance und des Kundenservices. Durch den Einsatz von Process Mining Methoden und die Visualisierung von Gesprächsprozessen können Entwickler und Manager wertvolle Erkenntnisse gewinnen und fundierte Entscheidungen zur Optimierung von Chatbots treffen. Das in diesem Projekt entwickelte Conversation Mining System leistet einen Beitrag im Bereich der Chatbot-Analyse und bietet praktische Werkzeuge zur Verbesserung der Chatbot-Performance in verschiedenen Branchen. Weitere Informationen zu diesem Projekt und den Ergebnissen finden Sie hier.