Die besten Sprachmodelle im Oktober 2024

LLM Benchmarks | Oktober 2024

Die Benchmarks bewerten die Modelle in Bezug auf ihre Eignung für die digitale Produktentwicklung. Je höher die Punktezahl, desto besser.

☁️ - Cloud-Modelle mit proprietärer Lizenz
✅ - Open-Source-Modelle, die lokal ohne Einschränkungen ausgeführt werden können
🦙 - Lokale Modelle mit Llama2-Lizenz

Grok 2 Beta from X-AI

Grok-2 Beta von xAI hat sich überraschend schnell zu einem leistungsfähigen Modell entwickelt. Während die vorherige Version kaum brauchbar war, hat Grok-2 Beta nun einen Platz unter den Top 15 erreicht. In unseren Benchmarks, die Aufgaben aus verschiedenen Sprachmodell-Anwendungen umfassen, zeigte das Modell insgesamt solide Leistungen. Besonders hervorzuheben ist seine verbesserte Fähigkeit zum logischen Schlussfolgern.

Das Modell erreicht eine Leistung, die nahe an älteren Versionen von GPT-4 liegt, bleibt jedoch hinter dem Qwen2.5-72B-Instruct zurück, das heruntergeladen und auf eigener Hardware betrieben werden kann.

Dennoch sind diese Entwicklungen positiv. Es zeigt sich, dass nahezu jedes Unternehmen mit ausreichend vielfältigen Daten und Zugang zu ausreichender Rechenleistung in der Lage ist, ein Modell zu entwickeln, das in die Top 20 unserer Benchmarks gelangt.

Gemini 1.5 Flash 8B

Wir haben in unserem September-LLM-Benchmark über die neuen Modelle der Llama-3.2-Serie gesprochen, die den Stand der Technik für lokale Modelle erheblich vorangetrieben haben. Der Fortschritt setzt sich fort:

Google hat das neue Gemini-1.5-Flash-Modell veröffentlicht, das in unseren Produktbenchmarks beeindruckende Ergebnisse zeigt. Dieses 8-Milliarden-Parameter-Modell erreicht eine Leistung, die mit GPT-3.5 oder Llama 3 70B vergleichbar ist und fast das Niveau des regulären 1.5 Flash erreicht.

Das Gemini 1.5 Flash-8B Modell von Google demonstriert den Fortschritt des Unternehmens in der Entwicklung großer Sprachmodelle (LLMs). Es ist das kostengünstigste Modell innerhalb der Gemini-Reihe und erreicht dennoch eine hohe Platzierung im Vergleich zu anderen Gemini-LLMs.

Eine wesentliche Einschränkung dieses Modells ist jedoch seine geschlossene Natur. Obwohl die Modellgröße von 8 Milliarden Parametern bekannt ist, ist es nicht möglich, die Gewichte herunterzuladen und das Modell lokal auszuführen. Dennoch kann Gemini 1.5 Flash kostengünstig genutzt werden. Die Geschichte zeigt, dass Errungenschaften eines Unternehmens oft bald von anderen wiederholt werden. Daher können wir in Zukunft mit weiteren kleinen Modellen dieser Qualität rechnen, die idealerweise lokal einsetzbar sind.

Claude Sonnet 3.5 and Haiku 3.5

Anthropic hat Aktualisierungen für die beiden Modelle in seinem Portfolio veröffentlicht:

• Mittel: Sonnet 3.5
• Klein: Haiku 3.5

Sonnet 3.5 ist derzeit das leistungsstärkste Modell von Anthropic in unserem Benchmark und ist auf Platz 11 aufgestiegen.

Im Vergleich zur vorherigen Version von Sonnet 3.5 bietet die aktuelle Version eine verbesserte Befolgung von Anweisungen und arbeitet besser mit Code, sowohl beim Schreiben als auch bei komplexeren technischen Aufgaben.

Claude 3.5 Sonnet v2 ist insgesamt ein solides Modell, aber man kann eine bessere Qualität zu einem niedrigeren Preis erzielen – zum Beispiel durch die Nutzung von GPT-4o oder den Einsatz des lokalen Qwen 2.5.

Claude 3.5 Haiku ist eine weitere Verbesserung der Haiku-Serie. Das Modell hat durchweg bessere Bewertungen erhalten (außer in der Kategorie Code+Engineering). Der größte Fortschritt war im Bereich Reasoning: von 35 auf 68! Dies ist der höchste Reasoning-Wert unter allen Modellen von Anthropic. Könnte dies auf eine neue Architektur in der nächsten Claude-Serie hinweisen?

Zusätzliche Fakten zur Untermauerung dieser Theorie: Das Haiku-Modell war das letzte Modell, das veröffentlicht wurde, und es kostet zudem viermal so viel wie die vorherige Haiku-Version. Änderungen in der Kostenstruktur von LLMs sind meist mit grundlegenden Änderungen in der Architektur verbunden.

Aufgrund der Preiserhöhung gehört Haiku nicht mehr zur Kategorie „intelligent und extrem günstig“. Inzwischen findet man bessere Modelle wie GPT-4o mini oder Google Gemini 1.5 Flash 8B.

Der allgemeine Trend steigender Qualität innerhalb der Modellreihen setzt sich fort. Mal sehen, ob das verbesserte Reasoning auch in anderen Modellversionen von Anthropic auftauchen wird.

Trends

Apropos Trends: Werfen Sie einen Blick auf diesen interessanten Meta-Trend. OpenAI, Google und Sonnet haben in den letzten zwei Monaten neue Modelle der unteren Leistungsklassen in höhere Preiskategorien eingeführt. Dadurch entsteht der Eindruck, dass die Leistung der LLMs innerhalb dieser Kategorien tatsächlich abnimmt.

Dies könnte potenziell auf eine Kombination aus drei Faktoren hindeuten:

1. LLM-Anbieter beginnen, ihre Preisgestaltung basierend auf Kosten und Nutzung zu optimieren.
2. Es ist nicht mehr möglich, ausschließlich über Qualität zu konkurrieren, ohne den Rechenaufwand zu erhöhen (stoßen wir hier möglicherweise an die Grenzen der Transformer-Architektur?).
3. Unsere Preisstufen für die Kategorien wurden nicht gut gewählt. Wir werden das gesamte Diagramm überarbeiten müssen.

Und wenn wir Gemini 1.5 Flash 8B in die Karte der lokal-fähigen Modelle eintragen, ergibt sich das untenstehende Bild, das einen deutlichen Leistungssprung im aktuellen Stand der Technik markiert.

Wir sind gespannt, wie sich die Dinge im November 2024 weiterentwickeln. Wir halten Sie natürlich auf dem Laufenden!

Transformieren Sie Ihre digitalen Projekte mit den besten KI-Sprachmodellen!

Entdecken Sie die transformative Kraft der besten LLM und revolutionieren Sie Ihre digitalen Produkte mit KI! Bleiben Sie zukunftsorientiert, steigern Sie die Effizienz und sichern Sie sich einen klaren Wettbewerbsvorteil. Wir unterstützen Sie dabei, Ihren Business Value auf das nächste Level zu heben.