Nutzerzentrierte Entwicklung eines souveränen Mittelstands-LLM und RAG-basierter Chatbots

Der Einsatz von KI zur Verbesserung und Digitalisierung des Wissensmanagements ist ein Thema, das in vielen Unternehmen diskutiert wird. Häufig kommen dabei große Sprachmodelle zum Einsatz. Einige große Unternehmen, zum Beispiel REWE, setzen verstärkt auf die Sprachmodelle von OpenAI. Allerdings verfügen kleinere und mittlere Unternehmen oft nicht über die notwendigen Ressourcen, um auf diese umfangreichen Sprachmodelle zuzugreifen. Hinzu kommt das Risiko einer Datenschutzverletzung aufgrund der außereuropäischen Verarbeitung interner und personenbezogener Daten, was gegen die DSGVO verstoßen würde.

Deswegen entwickeln wir in Zusammenarbeit mit Ergosign in einem Praxisprojekt mit dem Privatbüro Plus, seit einiger Zeit einen Demonstrator, der auf große Sprachmodelle verzichtet und ausschließlich Modelle nutzt, die frei zugänglich sind und somit selbstständig gehostet werden könnten. Der Demonstrator besteht dabei aus verschiedenen Komponenten. Zum einen dem Sprachmodell, welches Textanfragen verarbeitet. Zum anderen aber auch der Methode der Retrieval Augmented Generation (RAG), welche einfache Nutzeranfragen an das Sprachmodell durch weitere Ressourcen erweitert, aus denen das Sprachmodell seine Antworten dann herleiten kann. So können bspw. Anfragen zu Unternehmensinhalten mithilfe des Sprachmodells und Unternehmensdokumenten beantwortet werden (weitere Informationen zu RAG finden Sie hier). In aller Kürze, können so Anfragen zu unstrukturierten Unternehmensdokumenten gestellt werden und aufwändige Informationssuchen nach Informationen in Textdokumenten vermieden werden.

In Kooperation mit Ergosign arbeiten wir an einem Praxisprojekt für das Privatbüro Plus. Im Zentrum dieses Projekts steht die Entwicklung eines Demonstrators, der sich auf öffentlich zugängliche und daher selbst hostbare Modelle stützt, anstatt auf umfangreiche Sprachmodelle zu setzen. Der Demonstrator setzt sich aus mehreren Bestandteilen zusammen. Im Vordergrund steht das Sprachmodell, welches dazu entwickelt wurde, Textanfragen zu verarbeiten. Ein weiterer wichtiger Part ist die Implementierung der Retrieval Augmented Generation (RAG) Methode. Diese erweitert einfache Nutzeranfragen an das Sprachmodell durch zusätzliche Ressourcen, die als Grundlage für die Antworten des Sprachmodells dienen. Auf diese Weise können zum Beispiel Anfragen zu Unternehmensinhalten mit Hilfe des Sprachmodells und unter Zuhilfenahme von Unternehmensdokumenten beantwortet werden. In der Konsequenz bedeutet dies, dass Nutzeranfragen zu unstrukturierten Firmendokumenten beantwortet werden können, ohne dass eine zeitaufwändige Suche nach Informationen in Textdokumenten durchgeführt werden muss. Weitere Details zur RAG Methode finden Sie hier.

Der Demonstrator wird gemeinsam mit Ergosign entwickelt. Im ersten Schritt haben wir dabei im Privatbüro Plus erste Anforderungen an ein solches System durch Nutzer:innen, also Mitarbeiter:innen, erhoben. Auf Basis der ersten Anforderungen wurde dann ein erster Klick-Dummy erstellt, der eine Mögliche Nutzung des Systems simulieren soll. Dieser wurde kürzlich im Privatbüro-Plus getestet (Usability Testing). Unser Vorgehen bestand dabei aus folgenden Komponenten:

• Ziel: Wir überprüfen Annahmen und Designlösungen mit potenziellen Nutzer:innen, die Aufgaben mit dem System bearbeiten. So können wir sie bei der Interaktion beobachten und direkt feststellen, welche Probleme die Nutzer:innen haben und was sie sofort verstehen. 
• Durchführung: Wir führen die Teilnehmer:innen durch typische Arbeitsaufgaben, lassen uns ihre Vorgehensweise zeigen, geben bei Bedarf Hilfestellung und stellen an geeigneten Stellen Fragen zu den Hintergründen der jeweiligen Situation. Dabei notieren wir relevante Ereignisse und Beobachtungen und halten bereits erste Erkenntnisse fest. 
• Ergebnis: Nach Durchführung aller Testsitzungen erstellen wir einen ausführlichen Ergebnisbericht. Dazu diskutieren wir unsere Beobachtungen im Team, dokumentieren alle Erkenntnisse und bewerten die Schwere der festgestellten Probleme (Severity Rating). Zudem leiten wir konkrete Verbesserungsansätze aus Sicht der Nutzer:innen ab.

Weiterhin folgte das Usability Testing den folgenden Schritten:

• Moderations-Skript: Der Ablauf der Sitzungen wird in einem Moderations-Skript genau festgehalten. Für eine möglichst natürliche Nutzungssituation formulieren wir die Testaufgaben in Form von Szenarien mit Informationen zu Kontext und Motivation. 
• Think Aloud: Wir bitten unsere Nutzer:innen darum, uns ihre Gedanken direkt mitzuteilen. Mit dieser “Think Aloud”-Methode geben sie uns Einblick in ihre Motive, Präferenzen und Emotionen. So können wir unmittelbar durch die Nutzer:innen mehr über die Ursachen von Barrieren erfahren.

Die Ergebnisse des Workshops wurden umfangreich dokumentiert und werden in den kommenden Wochen berichtet. Auf Basis der Ergebnisse kann nun ein erster nutzbarer Prototyp entwickelt werden, der denn im weiteren Verlauf des Praxisprojekts weiter getestet wird. Wir freuen uns auf die weiteren Schritte im Projekt und berichten Ihnen jeglichen Fortschritt.