GenAI trifft Unternehmenswissen: Retrieval Augmented Generation für korrekte Antworten

In der Welt der generativen KI markiert RAG den nächsten Evolutionsschritt. Textgeneratoren werden dabei um den Zugriff auf externe Informationsquellen angereichert.

ChatGPT, Bard und Co. fällt zwar zu nahezu jeder Frage etwas ein, aber ob die Antworten immer korrekt sind, dessen kann man sich nicht sicher sein. Nicht ohne Grund kam schnell das Schlagwort vom „Bullshit-Generator“ auf. Zumindest zum jetzigen Status ist außerdem keine vollständige Aktualität gegeben (ChatGPT reicht nicht weiter als bis 2021). Dennoch ist die neue Technologie natürlich beeindruckend. Und sie gewinnt noch an Reiz, wenn sie mit firmeneigenem Wissen verknüpft wird. Hierbei spricht man von Retrieval Augmented Generation (RAG) – eine KI, die Informationen aus externen Wissensquellen abruft und dadurch die Qualität ihre eigenen Antworten schlagartig verbessert.

In diesem Beitrag gebe ich Ihnen einen Überblick über die Möglichkeiten mit sowie Funktionsweise von RAG und Einblicke in Projektbeispiele.

Retrieval Augmented Generation: Verknüpfung von KI mit firmeneigenem Wissen

Große Sprachmodelle (Large Language Models = LLM) wie ChatGPT und Bard verfügen nicht über eigenes Wissen, sondern sind stark darin, aus sehr großen Mengen an Input zielgerichteten Output zu generieren (siehe dazu auch hier). Das Wissen, das ein LLM aus seinen Trainingsdaten gelernt hat, wird als parametrisches Gedächtnis bezeichnet und in seinen neuronalen Gewichten gespeichert. LLMs verwenden dieses parametrische Gedächtnis, um auf Anfragen zu antworten. In den meisten Fällen ist jedoch die genaue Informationsquelle nicht bekannt. Deshalb können LLM auch keine wörtlichen Zitate liefern.

Sprachmodelle sind daher gut darin, allgemeine Texte auf Grundlage ihres Trainingsdatenkorpus zu generieren. In der unternehmerischen Praxis kommt es allerdings darauf an, Texte aus eigenen Wissensdatenbanken zu erstellen, wie sie im Intranet, auf Sharepoint- und Confluence-Seiten, wenn PDFs, Office-Dokumenten usw. vorliegen. Auf Grundlage dieser Informationen kann der KI-Assistent dann genaue und relevante Antworten liefern. Das derzeit größte Problem generativer Chatbots, ihre Tendenz zu Halluzinationen, lässt sich damit umgehen. In der genAI-Sprache bedeutet „Prompten“ die Eingabeaufforderung, die an das LLM gesendet wird. Sie wird beim RAG-Verfahren mit relevanten Informationen aus externen Wissensdatenbanken ergänzt, die über einen Information-Retrieval-Mechanismus abgerufen werden. Diese Informationen dienen als Kontext und werden gemeinsam mit der Anfrage verwendet, wodurch das parametrische Gedächtnis umgangen wird.

Vektorbasierte Datenbanken: So funktioniert RAG

Der Prompt wird in numerische Werte umgewandelt, was die Verwendung eines Embedding-Modells erfordert. Die numerischen Werte werden an eine Vektor- oder Graphdatenbank geleitet, in der das gesamte Wissen des Unternehmens gespeichert ist. Anhand der Werte werden die entsprechenden Einträge in der Datenbank gefunden, in Text rückverwandelt und dem LLM übergeben, zusammen mit Metadaten wie dem Speicherort und dem Ersteller eines PDFs. Dadurch bekommt man mit der Antwort zusätzlich die Quellenangabe geliefert.

Das beschriebene Vorgehen gilt als derzeit beste Methode zur Suche nach Inhalten. LLMs müssen hier in der Regel nicht weiter feingetunt oder trainiert werden (obwohl es in einigen Fällen sinnvoll sein kann). Voraussetzung dafür ist, dass das gesamte Unternehmenswissen dauerhaft vektorisiert wird. Dafür müssen bestehende Datensilos im Unternehmen aufgebrochen und zusammengeführt werden. Bisher arbeitet die klassische Unternehmenssuche hauptsächlich mit Indexdatenbanken, die nicht immer die gewünschte Antwortqualität liefern.

Die Zukunft der Unternehmenssuche: RAG in der Praxis

Retrieval Augmented Generation wird in allen Bereichen benötigt, in denen es auf aktuelle und genaue Informationen ankommt. Weil es aktuelle und kontextspezifische Daten verwendet, holt RAG generative KI-Systeme sozusagen in die Gegenwart. Bei  aller Art von Anfragen liefert die Technik sichtlich bessere Ergebnisse als ein großes generatives Sprachmodell allein.

RAG Beispiel 1

RAG in der Versicherungsbranche

RAG ist deshalb die Zukunft der Unternehmenssuche. Dies ist keine Utopie, sondern funktioniert bereits heute, wie X-INTEGRATE in einer Reihe von Projekten im Finanzdienstleistungssektor erfolgreich erprobt hat. Zum Beispiel hat eine Versicherung mithilfe von RAG einen Bot entwickelt, der automatisiert und individuell auf Sachstandsanfragen aus E-Mails oder Call-Center-Ereignissen antwortet, und zwar im spezifischen Kommunikationsstil der Versicherung.

RAG Beispiel 2

RAG im Bankensektor

Weiteres Beispiel ist eine Bank, die Finanzprodukte auf ihr Risiko hin bewerten muss. Der Risiko-Score basiert auf regulatorischen Anforderungen, internen Verfahrensanweisungen und Compliance-Richtlinien, die in Tausenden von Dokumenten enthalten sind. Kein Controller kann all diese Informationen überblicken. Die Bank hat sie vollständig vektorisiert und verwendet RAG, um Fragen zur Risikoeinschätzung an die Vektordatenbank zu stellen. Die Ergebnisse waren äußerst beeindruckend. Sie lüften einen Blick darauf, welches enorme Potenzial Retrieval Augmented Generation in der nahen Zukunft haben wird.

Interesse geweckt? X-INTEGRATE berät technologieneutral und führt bei Kunden ein individuelles „Unternehmens-GPT“ ein. Weitere Informationen dazu gibt es in unserem Workshop.

Über den Autor: Matthias Bauer

Matthias Bauer ist seit 2020 als Teamlead Data Science und seit 2023 als CTO bei der X-INTEGRATE (Teil der TIMETOACT GROUP) und bringt mehr als 15 Jahre Expertise als Solution Architect mit. Daten dafür nutzen, Großes zu schaffen und Mehrwerte zu erzielen – in seinen Worten: Data Thinking – ist seine Leidenschaft. Matthias ist erfahren in Artificial Intelligence, Data Science und Data Management; dabei bedient er von Data Warehousing bis hin zu Data Virtualization ein breites Spektrum an datenbezogenen Fragestellungen.  

Matthias Bauer
CTO & Teamlead Data Science X-INTEGRATE Software & Consulting GmbH

Sprechen Sie uns gerne an!

* Pflichtfelder

Wir verwenden die von Ihnen an uns gesendeten Angaben nur, um auf Ihren Wunsch hin mit Ihnen Kontakt im Zusammenhang mit Ihrer Anfrage aufzunehmen. Alle weiteren Informationen können Sie unseren Datenschutzhinweisen entnehmen.

Bitte Captcha lösen!

captcha image
Presse 25.02.25

Fachbeitrag: Dem Chatbot das Halluzinieren austreiben

Ein Fachbeitrag, im Digital Business Cloud Magazin zum Thema Retrieval Augmented Generation und der nächsten Entwicklungsstufe von künstlicher Intelligenz, von Matthias Bauer, Teamlead Data Science bei X-INTEGRATE.

Wissen 24.10.24

RAG-Systeme erklärt: Wettbewerbsvorteile mit IBM WatsonX

IBM WatsonX hilft mit RAG-Systemen, schnell und effizient datenbasierte Entscheidungen.

Blog 27.02.25

ChatGPT & Co: Jänner-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für Jänner 2025. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Wissen 20.03.24

Einzigartige Einblicke durch Graphdatenbanken

Mit dem Einsatz von Graphdatenbanken erhalten Sie Einblicke, die Ihrem Unternehmen einen echten Wettbewerbsvorteil verschaffen können.

Wissen 30.08.24

LLM-Benchmarks August 2024

Anstelle unserer allgemeinen LLM Benchmarks, präsentieren wir Ihnen im August den ersten Benchmark verschiedener KI-Architekturen.

Blog 16.12.24

Wie IBM FileNet und WatsonX.AI den Arbeitsalltag verändern

Digitaler Assistent für Unternehmen: Wie IBM FileNet und WatsonX.AI den Arbeitsalltag verändern

Blog 27.02.25

ChatGPT & Co: Dezember-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für Dezember 2024. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Blog 26.05.23

Bare Metal trifft auf Public Cloud

Mit Bare Metal und Public Cloud bietet die OVHcloud zwei unterschiedliche Ansätze, um IT-Infrastruktur bereitzustellen. Beide stehen für unterschiedliche Vor und Nachteile. Mit Bare Metal mietet ein Kunde einen physische Server und erhält die vollständige Kontrolle über die Hardware, das Betriebssystem, die Netzwerk-Konfiguration und die darauf ausgeführten Anwendungen. Somit kann die IT-Infrastruktur komplett an individuelle Anforderungen angepasst werden. Diese Server sind somit speziell für einen Kunden reserviert und niemand anderes nutzt diese Ressourcen parallel.

Headerbild GenAI Consulting
Kompetenz 25.02.25

GenAI Consulting

Spätestens ChatGPT & Co. haben gezeigt: Generative AI hat das Potenzial, die Arbeitswelt zu revolutionieren. Wir unterstützen Sie dabei, dieses Potenzial für Ihr Unternehmen auszuschöpfen.

Blog 27.02.25

ChatGPT & Co: November-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für November 2024. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Leistung

Neue Customer Journey trifft auf alten Vertrieb

Auch im Geschäftskundenbereich hat sich die Customer Journey massiv verändert.

Wissen 30.07.24

LLM-Benchmarks Juli 2024

Unser LLM Leaderboard aus Juli 2024 hilft dabei, das beste Large Language Model für die digitale Produktentwicklung zu finden.

Blog 25.07.24

ROI-Optimierung im Commerce: KI, B2H & Omnichannel-Strategy

In der neuesten Folge von insights! begrüße ich Frank Miller, den CEO der Inbound-Marketingagentur straight. Was folgt, ist ein tiefgehendes Gespräch über Digitalisierung, Marketingstrategien und die Rolle von Künstlicher Intelligenz im modernen Geschäftsleben.

Teamarbeit mit Tasse und Tastatur
Referenz

HCL Connections und ICEC vereinen sich zu einem globalen, cl

SikaWorld 2.0 in der Schweiz – Connections und das Connections Engagement Center vereinen sich zu einem globalen, cloud-basierten Social Intranet für 15.000 User.

Referenz

Beratung zur ivv Kollaborationsstrategie

Die zukünftige Kollaboration der ivv ist geprägt durch moderne Kommunikations- und Kollaboration-Werkzeuge und für das organisationsübergreifende Arbeiten im Verbund und mit Externen definiert.

Unternehmen

Anfahrt zur TIMETOACT GROUP in Köln

Egal ob mit dem Auto, mit dem Zug oder mit dem Flugzeug: Wir zeigen Ihnen, wie Sie am besten zu ins in den Mediaparkt nach Köln kommen.

Event

Webcast: Cloud Transformation & "run your App"

Lernen Sie mit Jochen Schneider die Cloud 1.0 (Cloud 1.0 (Lift&Shift), Cloud 2.0 (Microservices, Big Data) und Cloud 3.0 (Multi Cloud Management, Big Compute) kennen.

Event

Webcast: Das kognitive Versicherungsunternehmen

Lernen Sie von Dr. Jürgen Huschens das Konzept des Kognitive Enterprise kennen, die Adaption auf die Versicherungsindustrie und vieles mehr.

Event 06.05.20

Webcast: Versicherung und Data Science

Marc Bastian zeigt Ihnen ein Beispiel einer analytischen Infrastruktur für KI Anwendungsfälle, praktische Projekterfahrung und Erfolgsfaktoren.

Event

Webcast: KI für Versicherer

Dr. Matthias Quaisser erläutert Ihnen praktische Projekterfahrung und Erfolgsfaktoren von KI und erzählt von fachliche Anwendungsfälle von KI bei Versicherern.

May 14

Bleiben Sie mit dem TIMETOACT GROUP Newsletter auf dem Laufenden!