Die Vorteile der Retrieval Augmented Generation (RAG) für die Nutzung von Chatbots

Die Potenziale von RAG in Verbindung mit fortschrittlichen Sprachmodellen sind immens. Wer mit Chatbots wie ChatGPT interagiert haben, ist oft von der Qualität der generierten Antworten beeindruckt. Dennoch stoßen diese Sprachmodelle an ihre Grenzen, wenn sie mit Wissensbereichen konfrontiert werden, für die sie nicht trainiert wurden. In extremen Fällen neigen die Modelle sogar dazu, Informationen zu erfinden – ein bekanntes Phänomen, das als "Halluzination" bezeichnet wird.

Retrieval Augmented Generation (RAG) kann dazu beitragen, dieses Problem zu lösen. Dieser Ansatz erweitert die Fähigkeiten von Sprachmodellen, indem er es ihnen ermöglicht, Informationen aus externen Quellen in ihre Antworten einzubeziehen, anstatt nur auf den eigenen Trainingsdaten zu basieren.

Das Verfahren funktioniert in etwa wie folgt: Dokumente, die relevante Informationen für die Beantwortung einer Anfrage enthalten, werden in eine als Vektor-Datenbank bezeichnete Speicherstätte geladen. Diese erhält ihren Namen aufgrund der Art und Weise, wie sie organisiert ist, nämlich durch effiziente mathematische Funktionen, die es erlauben, Beziehungen zwischen verschiedenen Vektoren zu ermitteln. Die Dokumente werden in dieser Datenbank nicht nur in Textform gespeichert, sondern auch als Vektoren, d.h. als mathematische Repräsentationen der Textinhalte. Durch die Verwendung dieser Vektoren kann Texten, die ähnliche Inhalte aufweisen, eine entsprechende "Nähe" oder Ähnlichkeit zugeordnet werden. Zum Erstellen dieser Vektoren werden Text-Similarity-Search-Modelle verwendet, die darauf trainiert sind, Texte in Form von Vektoren darzustellen, die ihre Inhalte möglichst genau widerspiegeln.

Mit diesen Informationen als Vektoren können nun auch Nutzeranfragen – ebenfalls als Vektoren dargestellt – mit den Dokumenten in der Datenbank verglichen werden. Auf diese Weise können die für jede Anfrage relevantesten Textinhalte ermittelt und herangezogen werden.

Dieser Ansatz birgt zahlreiche Möglichkeiten für unternehmerische Anwendungen:

• Einarbeitungsprozesse: Dokumente, die für die Einarbeitung neuer Mitarbeiter benötigt werden, können durchsuchbar und abfragbar gemacht werden. Dies kann die Integration neuer Teammitglieder erheblich erleichtern und teilweise sogar automatisieren.
• Wissensvermittlung: Viele Unternehmen stehen vor der Herausforderung, firmeninternes Wissen strukturiert und zugänglich zu machen. KI kann dabei helfen, Dokumente effizienter aufzufinden und relevanten Inhalt herauszufiltern.
• Selbständige Kundeninteraktion: Informationen auf der Unternehmenswebsite können mithilfe von RAG-basierten Sprachmodellen schnell und einfach abgefragt werden. So wird die Informationssuche für die Besucher merklich vereinfacht.

Das Mittelstand-Digital Zentrum Fokus Mensch erforscht in unterschiedlichen Praxisprojekten das Potenzial von RAG-basierten Chatbots. Die Anwendungsmöglichkeiten sind vielseitig und können individuell angepasst werden. Hierfür verwenden wir einen speziell dafür konzipierten Demonstrator. Wenn Sie neugierig geworden sind, stehen Ihnen die unten genannten Ansprechpartner gerne zur Verfügung.