Die Gewinner der Enterprise RAG Challenge

Das sind die stolzen Gewinner der Enterprise RAG Challenge

Die Spannung hat ein Ende! Die Enterprise RAG Challenge hat einige der klügsten Köpfe in der KI-Welt zusammengebracht, um die Grenzen der Retrieval-Augmented Generation (RAG) zu erweitern. Nach einem spannenden Wettbewerb präsentieren wir nun die besten Lösungen und ihre Entwickler:innen!

Die Sieger der beiden Kategorien im Überblick

Die Enterprise RAG Challenge bot zwei verschiedene Tracks, um den Teilnehmenden unterschiedliche Möglichkeiten zu geben, ihr Können unter Beweis zu stellen.

Der Regular Track: Dieser Track stand allen offen, unabhängig von der verwendeten Technologie. Die Teilnehmenden konnten ihre besten Retrieval-Augmented Generation (RAG)-Lösungen einreichen und dabei auf verschiedene Modelle, Embeddings und Retrieval-Methoden setzen. Ziel war es, kreative und effiziente Ansätze zu fördern, die das volle Potenzial von RAG ausschöpfen.

Der IBM watsonx Track: In diesem Track ging es darum, herausragende RAG-Lösungen mit IBM watsonsx zu entwickeln. Die Teilnehmenden hatten Zugang zu leistungsstarken IBM-Embeddings, Retrieval-Technologien und LLMs, um das Beste aus dieser Plattform herauszuholen. Dies ermöglichte einen einzigartigen Vergleich, wie welche Ansätze as Beste aus IBM watsonx herausholen und die präzisten Antworten liefern.

Regular Track - Gewinner

Im Regular Track konnten sich zwei Teilnehmende den ersten Platz sichern. Durch das Unentschieden an der Spitze gibt es somit einen zweiten Platz und zwei Gewinner, die sich den ersten Platz teilen!

1. Platz: Emil Shagiev Effiziente semantische Suche mit LLM-gestützter Optimierung

1. Platz: Ilia Ris | Clevere Kombination aus Embeddings & LLMs für präzise Antworten

2. Platz: Team Hopeless | Hohe Präzision durch mehrstufige Verarbeitung, Konsistenzprüfung und LLM-gestütztes Reranking

Mehr über die Gewinner des Regular Tracks

IBM watsonx Track- Gewinner

Der IBM watsonx Track hat bewiesen: Sicherheit und Qualität müssen keine Kompromisse eingehen. Es ist möglich, hervorragende Ergebnisse mit Modellen zu erzielen, die lokal ausgeführt werden können!

1. Platz: Ilia Ris | Clevere Kombination aus Embeddings & LLMs für präzise Antworten

2. Platz: A. Rasskazov & V. Kalesnikau | Intelligentes Retrieval, Adaptives Matching & LLM-gesteuerte Antwortgenerierung

3. Platz: Team Nighwalker | Hohe Präzision durch mehrstufige Verarbeitung, Konsistenzprüfung und LLM-gestütztes Reranking

Mehr über die Gewinner des watsonx Tracks

Das offizielle Gewinner-Announcement Video

Erleben Sie die komplette Live-Übertragung, in der Rinat Abdullin (Head of Innovation und Machine Learning der TIMETOACT GROUP Österreich) die Sieger gekürt und ihre bahnbrechenden Ansätze vorgestellt hat.

Bitte passen Sie ihre Cookie Einstellungen an, um das Video abspielen zu können.

Insights zu den Gewinnern des Regular Tracks

1. Platz: Emil Shagiev

Effiziente semantische Suche mit LLM-gestützter Optimierung

Modelle: gpt-4o-mini-2024-07-18, gpt-4o-2024-08-06, o3-mini-2025-01-31

Query Expansion: Erweitert die Suchanfrage, um eine semantische Suche durchzuführen und relevante Ergebnisse zu maximieren.
Seitenbasiertes Retrieval: Das System sucht nach relevanten Dokumenten unter Verwendung schneller und kosteneffizienter LLMs.
Antwortgenerierung: Die besten Treffer werden extrahiert und mithilfe leistungsstärkerer LLMs in eine Antwort formuliert.
Optimierung der finalen Antwort: Die Antwort wird überprüft, optimiert und erst dann dem Nutzer präsentiert.

1. Platz: Ilia Ris

Clevere Kombination aus Embeddings & LLMs für präzise Antworten

Modell: o3-mini-2025-01-31

PDF-Analyse: Dokumente werden mit einer stark modifizierten Docling-Bibliothek von IBM verarbeitet.
Dense Retrieval: Das System sucht relevante Informationen anhand semantischer Ähnlichkeit.
Routing Mechanismus: Der erste Schritt im Frage-Antwort-Flow bestimmt den am besten geeigneten Agenten.
Parent Document Retrieval: Anstatt nur einzelne Abschnitte zu analysieren, wird der gesamte Dokumentenkontext berücksichtigt.
LLM Reranking: Abgerufene Informationen werden neu bewertet und sortiert.
Self-Consistency mit Majority Vote: Mehrere Antwortvarianten werden generiert, verglichen und die konsistenteste ausgewählt.
Denkmuster und Schlussfolgerungsstrategien: Verbesserung der LLM-Genauigkeit, indem der Denkprozess durch Custom Chain-of-Thought und strukturierte Ausgaben gesteuert wird.
Finale Antwortgenerierung: Das optimierte Ergebnis wird generiert und mit o3-mini ausgegeben.

2. Platz: Team Hopeless

Hohe Präzision durch mehrstufige Verarbeitung, Konsistenzprüfung und LLM-gestütztes Reranking

Modell: gpt-4o-2024-08-06

Dynamische strukturierte Ausgabe: Das System nutzt SEC EDGAR Ontologien, um Informationen systematisch zu organisieren. Strukturierte Ausgaben unterstützen den Chain-of-Thought-Ansatz und verbessern die Klassifikationsgenauigkeit.
Query Expansion: Die Anfrage wird semantisch übersetzt (erweitert) und mit CBOW-Ähnlichkeit in den Suchraum integriert.
Majority Vote für mehrere Durchläufe: Mehrere Antwortvarianten werden generiert, verglichen und die beste ausgewählt.
Intelligentes Chunking: Das System verarbeitet Texte seitenweise anstatt tokenbasiert, um eine bessere Kontextkohärenz zu gewährleisten.

Insights zu den Gewinnern des IBM watsonx Tracks

1. Platz: Ilia Ris

Mehrstufiges Retrieval mit LLM-Optimierung für bessere Antwortqualität

Modell: IBM WatsonX llama-3.3 70B

PDF Parsing: Verwendet eine stark modifizierte Docling-Bibliothek von IBM, um Texte zu extrahieren und zu strukturieren.
Dense Retrieval: Ruft relevante Informationen basierend auf semantischer Ähnlichkeit mit IBM-Embedding-Modellen ab.
Router-Pattern: Erster Schritt im Frage-Antwort-Flow, der den am besten geeigneten Agenten auswählt.
Parent Document Retrieval: Erweitert den Kontext, indem größere Abschnitte eines Dokuments abgerufen werden.
LLM Reranking: Ordnet die abgerufenen Ergebnisse mithilfe eines LLMs neu, um die Relevanz zu verbessern.
Logisches Schlussfolgern mit strukturierten Ausgaben:
- Chain-of-Thought (CoT): Verbessert die logische Argumentation in den Antworten.
- Schema Repair: Korrigiert Antworten von Modellen, die kein eingeschränktes Decoding für strukturierte Ausgaben unterstützen.
Selbstkonsistenz mit Mehrheitswahl: Generiert mehrere Antwortvarianten und wählt die konsistenteste aus.
LLM: Verwendet Llama-3.3 70B (IBM WatsonX) zur Umsetzung dieses RAG-Ansatzes.

2. Platz: A. Rasskazov & V. Kalesnikau

Intelligentes Retrieval, Adaptives Matching & LLM-gesteuerte Antwortgenerierung

Modelle: Kombination aus Llama-3, Granite Embeddings & GPT-4o-mini

Datenbank-Initialisierung: Erstellung der RAG-Modell-Datenbanken, um relevante Informationen zu speichern und abzurufen.
Extraktion wichtiger Informationen: Identifikation wesentlicher Details aus der Frage, wie Unternehmen, Branche, Kennzahl und Währung.
Ähnlichkeitsabgleich: Finden der ähnlichsten Frage in der Datenbank basierend auf den extrahierten Schlüsselinformationen.
Nutzung bestehender Erkenntnisse: Verwendung der Antwort auf die ähnlichste Frage als Referenz für die neue Anfrage.
LLM-gestützte Antwortgenerierung: Einsatz eines LLM-Modells, um die bestehende Antwort zu verfeinern oder eine neue Antwort zu generieren.
Zusammenstellung der finalen Antwort: Sammeln, Strukturieren und Präsentieren der bestmöglichen Antwort für den Benutzer.

3. Platz: Team Nightwalkers

Effektive Kombination aus Retrieval & LLM-generierter Antwort

Modell: Nutzung von DeepSeek Llama-70B und Granite Embeddings

Erstellung einer Vektordatenbank: Aufbau einer Vektordatenbank mit all-MiniLM-L6-v2 oder IBM Granite Embeddings (107M, multilingual) für eine effiziente semantische Suche.
Anfragenverarbeitung: Wenn eine Frage gestellt wird, durchsucht das System die Datenbank nach der relevantesten Seite und dem passendsten Dokument.
Dokumentenabruf: Die bestpassenden Inhalte werden basierend auf Ähnlichkeitsscores ausgewählt.
LLM-gestützte Antwortgenerierung: Die abgerufenen Informationen werden an das IBM WatsonX LLM (LLM DeepSeek-r1-Distill-Llama-70B) weitergeleitet, um eine strukturierte und präzise Antwort zu erstellen.
Finale Ausgabe: Die KI-generierte Antwort wird optimiert und dem Nutzer präsentiert.

Zentrale Erkenntnisse aus dem Regular Track

LLM-Denkstrukturen (basierend auf strukturierten Ausgaben und Custom Chain of Thought) wurden in fast allen Top-Einreichungen verwendet.Die IBM Docling-Bibliothek ist ein entscheidender Vorteil für die Verarbeitung von Geschäftsdokumenten.
Eine solide RAG-Architektur ermöglicht großartige Ergebnisse, selbst mit den kleinsten Modellen. Ilias Lösung erzielte 109.3 Punkte (R: 81.1, G: 68.7) mit Llama-3.1 8B.
Majority Vote ist eine effektive Methode, um die Genauigkeit eines Systems zu verbessern.

Zentrale Erkenntnisse aus dem IBM watsonx Track

Sicherheit und Qualität müssen keine Kompromisse eingehen. Es ist möglich, hervorragende Ergebnisse mit Modellen zu erzielen, die lokal ausgeführt werden können.
Die IBM Docling-Bibliothek ist ein entscheidender Vorteil für die Verarbeitung von Geschäftsdokumenten.
Denkmuster und Schlussfolgerungs-strategien (basierend auf strukturierten Ausgaben und Custom Chain of Thought) funktionieren gut, selbst für Modelle ohne eingeschränktes Decoding.