GenAI trifft Unternehmenswissen: Retrieval Augmented Generation für korrekte Antworten

In der Welt der generativen KI markiert RAG den nächsten Evolutionsschritt. Textgeneratoren werden dabei um den Zugriff auf externe Informationsquellen angereichert.

ChatGPT, Bard und Co. fällt zwar zu nahezu jeder Frage etwas ein, aber ob die Antworten immer korrekt sind, dessen kann man sich nicht sicher sein. Nicht ohne Grund kam schnell das Schlagwort vom „Bullshit-Generator“ auf. Zumindest zum jetzigen Status ist außerdem keine vollständige Aktualität gegeben (ChatGPT reicht nicht weiter als bis 2021). Dennoch ist die neue Technologie natürlich beeindruckend. Und sie gewinnt noch an Reiz, wenn sie mit firmeneigenem Wissen verknüpft wird. Hierbei spricht man von Retrieval Augmented Generation (RAG) – eine KI, die Informationen aus externen Wissensquellen abruft und dadurch die Qualität ihre eigenen Antworten schlagartig verbessert.

In diesem Beitrag gebe ich Ihnen einen Überblick über die Möglichkeiten mit sowie Funktionsweise von RAG und Einblicke in Projektbeispiele.

Retrieval Augmented Generation: Verknüpfung von KI mit firmeneigenem Wissen

Große Sprachmodelle (Large Language Models = LLM) wie ChatGPT und Bard verfügen nicht über eigenes Wissen, sondern sind stark darin, aus sehr großen Mengen an Input zielgerichteten Output zu generieren (siehe dazu auch hier). Das Wissen, das ein LLM aus seinen Trainingsdaten gelernt hat, wird als parametrisches Gedächtnis bezeichnet und in seinen neuronalen Gewichten gespeichert. LLMs verwenden dieses parametrische Gedächtnis, um auf Anfragen zu antworten. In den meisten Fällen ist jedoch die genaue Informationsquelle nicht bekannt. Deshalb können LLM auch keine wörtlichen Zitate liefern.

Sprachmodelle sind daher gut darin, allgemeine Texte auf Grundlage ihres Trainingsdatenkorpus zu generieren. In der unternehmerischen Praxis kommt es allerdings darauf an, Texte aus eigenen Wissensdatenbanken zu erstellen, wie sie im Intranet, auf Sharepoint- und Confluence-Seiten, wenn PDFs, Office-Dokumenten usw. vorliegen. Auf Grundlage dieser Informationen kann der KI-Assistent dann genaue und relevante Antworten liefern. Das derzeit größte Problem generativer Chatbots, ihre Tendenz zu Halluzinationen, lässt sich damit umgehen. In der genAI-Sprache bedeutet „Prompten“ die Eingabeaufforderung, die an das LLM gesendet wird. Sie wird beim RAG-Verfahren mit relevanten Informationen aus externen Wissensdatenbanken ergänzt, die über einen Information-Retrieval-Mechanismus abgerufen werden. Diese Informationen dienen als Kontext und werden gemeinsam mit der Anfrage verwendet, wodurch das parametrische Gedächtnis umgangen wird.

Vektorbasierte Datenbanken: So funktioniert RAG

Der Prompt wird in numerische Werte umgewandelt, was die Verwendung eines Embedding-Modells erfordert. Die numerischen Werte werden an eine Vektor- oder Graphdatenbank geleitet, in der das gesamte Wissen des Unternehmens gespeichert ist. Anhand der Werte werden die entsprechenden Einträge in der Datenbank gefunden, in Text rückverwandelt und dem LLM übergeben, zusammen mit Metadaten wie dem Speicherort und dem Ersteller eines PDFs. Dadurch bekommt man mit der Antwort zusätzlich die Quellenangabe geliefert.

Das beschriebene Vorgehen gilt als derzeit beste Methode zur Suche nach Inhalten. LLMs müssen hier in der Regel nicht weiter feingetunt oder trainiert werden (obwohl es in einigen Fällen sinnvoll sein kann). Voraussetzung dafür ist, dass das gesamte Unternehmenswissen dauerhaft vektorisiert wird. Dafür müssen bestehende Datensilos im Unternehmen aufgebrochen und zusammengeführt werden. Bisher arbeitet die klassische Unternehmenssuche hauptsächlich mit Indexdatenbanken, die nicht immer die gewünschte Antwortqualität liefern.

Die Zukunft der Unternehmenssuche: RAG in der Praxis

Retrieval Augmented Generation wird in allen Bereichen benötigt, in denen es auf aktuelle und genaue Informationen ankommt. Weil es aktuelle und kontextspezifische Daten verwendet, holt RAG generative KI-Systeme sozusagen in die Gegenwart. Bei  aller Art von Anfragen liefert die Technik sichtlich bessere Ergebnisse als ein großes generatives Sprachmodell allein.

RAG Beispiel 1

RAG in der Versicherungsbranche

RAG ist deshalb die Zukunft der Unternehmenssuche. Dies ist keine Utopie, sondern funktioniert bereits heute, wie X-INTEGRATE in einer Reihe von Projekten im Finanzdienstleistungssektor erfolgreich erprobt hat. Zum Beispiel hat eine Versicherung mithilfe von RAG einen Bot entwickelt, der automatisiert und individuell auf Sachstandsanfragen aus E-Mails oder Call-Center-Ereignissen antwortet, und zwar im spezifischen Kommunikationsstil der Versicherung.

RAG Beispiel 2

RAG im Bankensektor

Weiteres Beispiel ist eine Bank, die Finanzprodukte auf ihr Risiko hin bewerten muss. Der Risiko-Score basiert auf regulatorischen Anforderungen, internen Verfahrensanweisungen und Compliance-Richtlinien, die in Tausenden von Dokumenten enthalten sind. Kein Controller kann all diese Informationen überblicken. Die Bank hat sie vollständig vektorisiert und verwendet RAG, um Fragen zur Risikoeinschätzung an die Vektordatenbank zu stellen. Die Ergebnisse waren äußerst beeindruckend. Sie lüften einen Blick darauf, welches enorme Potenzial Retrieval Augmented Generation in der nahen Zukunft haben wird.

Interesse geweckt? X-INTEGRATE berät technologieneutral und führt bei Kunden ein individuelles „Unternehmens-GPT“ ein. Weitere Informationen dazu gibt es in unserem Workshop.

Über den Autor: Matthias Bauer

Matthias Bauer ist seit 2020 als Teamlead Data Science und seit 2023 als CTO bei der X-INTEGRATE (Teil der TIMETOACT GROUP) und bringt mehr als 15 Jahre Expertise als Solution Architect mit. Daten dafür nutzen, Großes zu schaffen und Mehrwerte zu erzielen – in seinen Worten: Data Thinking – ist seine Leidenschaft. Matthias ist erfahren in Artificial Intelligence, Data Science und Data Management; dabei bedient er von Data Warehousing bis hin zu Data Virtualization ein breites Spektrum an datenbezogenen Fragestellungen.  

Matthias Bauer
CTO & Teamlead Data Science X-INTEGRATE Software & Consulting GmbH

Sprechen Sie uns gerne an!

* Pflichtfelder

Wir verwenden die von Ihnen an uns gesendeten Angaben nur, um auf Ihren Wunsch hin mit Ihnen Kontakt im Zusammenhang mit Ihrer Anfrage aufzunehmen. Alle weiteren Informationen können Sie unseren Datenschutzhinweisen entnehmen.

Bitte Captcha lösen!

captcha image
Presse 15.03.24

Fachbeitrag: Dem Chatbot das Halluzinieren austreiben

Ein Fachbeitrag, im Digital Business Cloud Magazin zum Thema Retrieval Augmented Generation und der nächsten Entwicklungsstufe von künstlicher Intelligenz, von Matthias Bauer, Teamlead Data Science bei X-INTEGRATE.

Insights

Das sind die Gewinner der Enterprise RAG Challenge

Entdecken Sie die Gewinner der Enterprise RAG Challenge! Sehen Sie sich das offizielle Announcement an und erfahren Sie, wie KI-Retrieval und LLMs die besten RAG-Lösungen geformt haben.

Blog 21.01.25

Die Zukunft der KI: Enterprise RAG Challenge

KI-Innovation, die überzeugt: Die Enterprise RAG Challenge zeigt, was möglich ist.

Insights

IBM watsonx Leaderboard der Enterprise RAG Challenge

Das Team-Leaderboard fasst alle eingereichten Beiträge zusammen – auch jene, die nach Bekanntgabe der Ground Truth eingereicht wurden. Daher betrachten wir diese Rangliste als inoffizielle Übersicht.

Wissen 24.10.24

RAG-Systeme erklärt: Wettbewerbsvorteile mit IBM WatsonX

IBM WatsonX hilft mit RAG-Systemen, schnell und effizient datenbasierte Entscheidungen.

Insights

Team-Leaderboard der Enterprise RAG Challenge

Das Team-Leaderboard fasst alle eingereichten Beiträge zusammen – auch jene, die nach Bekanntgabe der Ground Truth eingereicht wurden. Daher betrachten wir diese Rangliste als inoffizielle Übersicht.

Headerbild GenAI Consulting
Kompetenz 20.02.25

GenAI Consulting

Spätestens ChatGPT & Co. haben gezeigt: Generative AI hat das Potenzial, die Arbeitswelt zu revolutionieren. Wir unterstützen Sie dabei, dieses Potenzial für Ihr Unternehmen auszuschöpfen.

Wissen 20.03.24

Einzigartige Einblicke durch Graphdatenbanken

Mit dem Einsatz von Graphdatenbanken erhalten Sie Einblicke, die Ihrem Unternehmen einen echten Wettbewerbsvorteil verschaffen können.

Insights 17.03.25

ChatGPT & Co: Februar-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für Februar 2025. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Blog 21.03.24

Effizienzmaximierung durch KI, Personalisierung & Daten

In dieser insights!-Folge haben wir Philipp Krüger, Vice President Marketing & Consulting von Pimcore zu Gast. Gemeinsam diskutieren wir über die Zukunft der digitalen Technologie und nehmen dabei die Auswirkungen generativer KI, Hyper-Personalisierung und fortschrittlicher Datenmanagementlösungen auf das Marketing und E-Commerce ins Visier.

Blog 20.02.25

ChatGPT & Co: Jänner-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für Jänner 2025. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Wissen 30.08.24

LLM-Benchmarks August 2024

Anstelle unserer allgemeinen LLM Benchmarks, präsentieren wir Ihnen im August den ersten Benchmark verschiedener KI-Architekturen.

Insights 17.03.25

LLM Benchmarks: February 2025

Discover the latest insights from our independent LLM benchmarks for February 2025. Find out which large language models performed best.

Wissen 30.04.24

GPT & Co: Die besten Sprachmodelle für digitale Produkte

Welche LLM-Modelle meistern Ihre Herausforderungen am besten? Werfen Sie einen Blick auf die Ergebnisse und finden Sie Ihr ideales Sprachmodell!

Teaserbild Expertenbericht Privileged Remote Access
Blog 19.10.22

Sicherer Zugriff von Extern ohne VPN

Der privilegierte Zugriff von extern stellt viele Firmen vor Herausforderungen. Externe Mitarbeitende müssen verwaltet und der Zugriff bereitgestellt werden. Dabei kann die Übersicht schnell verloren gehen und die Nachvollziehbarkeit ist nicht mehr gewährleistet.

Blog 16.12.24

Wie IBM FileNet und WatsonX.AI den Arbeitsalltag verändern

Digitaler Assistent für Unternehmen: Wie IBM FileNet und WatsonX.AI den Arbeitsalltag verändern

Blog 07.01.25

ChatGPT & Co: Dezember-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für Dezember 2024. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Technologie Übersicht

Beratung rund um IBM watsonx.ai

Als IBM Platinum Business Partner sind wir für Sie da. Ob Beratung, Begleitung oder Umsetzung – mit dem gesamten Portfolio der IBM finden wir die optimale Lösung für Sie.

Produkt

Google AI

Innovationen, die Euer Unternehmen auf das nächste Level bringen!

Blog

KI richtig nutzen in 2025

Die vier größten Stolpersteine bei generativer KI im Jahr 2025 – und wie Du sie umgehst.

Bleiben Sie mit dem TIMETOACT GROUP Newsletter auf dem Laufenden!