Die besten Sprachmodelle für digitale Produkte im Juli 2024

Codestral Mamba 7B

Mistral AI hat diesen Monat eine ganze Reihe von Veröffentlichungen gemacht, aber Codestral Mamba ist unser Favorit. Es ist nicht extrem leistungsgstark, vergleichbar mit Modellen wie Llama 3.1 8B oder Claude 3 Sonnet. Aber es gibt auch ein paar Nachteile:

• Dieses Modell ist nicht für Produkt- oder Businessaufgaben konzipiert, es ist ein Coding-Modell. Dennoch konkurriert es gut mit Allzweckmodellen.

• Das Modell hat nicht die gut erforschte Transformer-Architektur implementiert, sondern eine Mamba (auch bekannt als Linear-Time Sequence Modeling with Selective State Spaces). Diese Architektur gilt als ressourceneffizienter und hat weniger Beschränkungen bei der Arbeit mit großen Kontexten. Es gab mehrere Versuche, ein gutes Mamba-Modell zu trainieren, aber dies ist das erste Modell, das in unserer Rangliste gute Ergebnisse erzielt.

• Das neue Modell ist für den lokalen Gebrauch verfügbar, man kann es direkt von HuggingFace beziehen. Nvidia TensorRT-LLM unterstützt dieses Modell bereits.

GPT-4o Mini

GPT-4o Mini ist ein neues multimodales Modell von OpenAI. Es ähnelt in seiner Klasse den GPT-3.5-Modellen, hat aber bessere Gesamtergebnisse. Seine Grundfähigkeiten sind ziemlich groß für ein so kleines Modell. GPT-4o Mini ist auch das erste Modell, das in unserer Kategorie Marketing (Tests, die mit Sprache und Schreibstilen arbeiten) eine perfekte 100 erreicht hat.

Angesichts der extrem niedrigen Kosten und der guten Ergebnisse scheint der GPT-4o Mini perfekt für kleine, fokussierte Aufgaben wie Router und Klassifikatoren in LLM-gesteuerten Produkten geeignet zu sein. Auch Datenextraktionsaufgaben in großem Maßstab sehen gut aus.

Mistral Nemo 12B

Wie es scheint, hat Mistral AI eine Menge Anstrengungen in die Spitzenforschung und -entwicklung gesteckt. Der Mistral Nemo 12B ist ein weiteres Beispiel dafür.

Einerseits ist dieses Modell etwas größer als frühere 7B-Modelle von Mistral AI. Andererseits hat es ein paar interessante Nuancen, die das wieder wettmachen.

Erstens verfügt das Modell über einen besseren Tokeniser, was zu einer effizienteren Verwendung von Token führt (weniger Token pro Eingabe und Ausgabe erforderlich).

Zweitens wurde das Modell zusammen mit Nvidia unter Verwendung eines quantisierungssensitiven Trainings trainiert. Das bedeutet, dass das Modell von Anfang an auf einen ressourceneffizienten Betrieb ausgelegt ist. In diesem Fall ist das Modell so konzipiert, dass es im FP8-Modus gut funktioniert, was bedeutet, dass die Modellgewichte ein Viertel der üblichen Größe im Speicher einnehmen (im Vergleich zum FP32-Format). Hier ist die Ankündigung von Nvidia.

Es ist ein netter Zufall, dass NVidia-GPUs mit CUDA Compute 9.0-Generation darauf ausgelegt sind, FP8 nativ auszuführen (z. B. H100-GPUs für Rechenzentren)

Wenn Sie die neuesten GPUs haben, kann dieses Mistral Nemo Modell ein guter Ersatz für die früheren 7B Modelle von Mistral AI sein. Da das Modell auch einen hohen Reason-Wert erzielt, besteht die Chance, dass die Feinabstimmung das Modell noch höher treibt.

Sie können dieses Modell von Hugging Face herunterladen oder über die MistralAI API verwenden.

Mistral Large 123B v2

Mistral Large v2 ist derzeit das beste Modell von Mistral in unseren Benchmarks. Es steht zum Download zur Verfügung, d.h. Sie können es auf Ihren lokalen Rechnern ausführen (obwohl für die kommerzielle Nutzung eine Lizenz erforderlich ist).

Dieses Modell hat auch einen großen Kontext von 128 Token. Es behauptet, dass es mehrere Sprachen unterstützt, sowohl menschliche als auch Programmiersprachen.

In unserem Benchmark hat dieses Modell wirklich gute Ergebnisse und eine ungewöhnlich hohe Reason-Fähigkeit. Es ist vergleichbar mit GPT-4 Turbo v3, Gemini Pro 1.5 und Claude 3 Opus.

Die ungewöhnliche Größe dieses Mistral Modells könnte darauf hindeuten, dass es auch mit FP8 Awareness trainiert wurde, um die 70B Modi in ihrem Lineup zu ersetzen (12:7 ~~ 123:80). Wenn das der Fall ist, könnten wir einen allgemeinen Trend sehen, bei dem neue Modelle in diesen ungeraden Größen auftauchen werden. Sie werden allerdings nur auf den neuesten GPUs gut laufen. Dies kann die LLM-Landschaft fragmentieren und den Fortschritt verlangsamen.

Das Lineup der besten Mistral-Modelle sieht derzeit wie folgt aus:

Llama 3.1 Models from Meta

Meta hat ein Update seiner Llama 3.1-Reihe veröffentlicht, das 3 Modellgrößen umfasst: 8B, 70B und 405B. Sie können alle Modelle von HuggingFace herunterladen und lokal verwenden. Die meisten KI-Anbieter bieten auch Unterstützung über API an.

Wir haben kleinere Modelle lokal getestet und Google Vertex AI für 405B verwendet. Google hat die Integration so gut wie nicht vermasselt (Sie müssen eventuell die Zeilenumbrüche korrigieren und zusätzliche Token am Anfang der Eingabeaufforderung abschneiden).

Das Modell 8B ist nicht so interessant - es schneidet schlechter ab als die vorherige Version 3.0, also lassen wir es weg. Die beiden anderen Modelle sind viel interessanter.

Meta Llama 3.1 70B hat einen massiven Qualitätssprung gemacht, wenn man es mit der vorherigen Version vergleicht. Es hat Gemini Pro 1.5 erreicht, GPT-3.5 übertroffen und Mistral Large 123B v2 erreicht. Das sind großartige Neuigkeiten, denn wir können die Qualität des 123B-Modells mit einem kleineren Modell erreichen.

Beachten Sie übrigens, dass Llama 3.1-Modelle ziemlich empfindlich auf Quantisierung (Komprimierung) reagieren können. Wenn wir z.B. ein 70B-Modell mit einer 8bit-Quantisierung (über bitsandbytes) laufen lassen, wird die Leistung und Qualität drastisch sinken:

Das bedeutet nicht, dass alle Quantisierungsstrategien gleich schlecht sind (hier finden Sie einen guten Artikel zu diesem Thema). Stellen Sie nur sicher, dass Sie Ihr Modell auf Ihrer Hardware mit Ihren spezifischen Daten vergleichen.

Meta Llama 3.1 405B Instruct

Meta Llama 3.1 405B Instruct ist der letzte Held des Monats. Dies ist das erste Modell, das es geschafft hat, den GPT-4 Turbo (seine schwächste Version Turbo v3/1106) zu schlagen. Sie können es in den TOP 10 unseres Benchmarks finden:

Es ist ein großes Modell. Sie benötigen 640 GB VRAM (8xH100/A100), nur um es im FP8 mit einem kleinen Batch- und Kontextfenster zu betreiben. Allein die Ressourcenanforderungen bedeuten, dass nur sehr wenige dieses Modell verwenden werden, wenn man es mit 70B/8B-Varianten vergleicht. Es wird weniger interessante Feinabstimmungen und Lösungen geben.

Aber das ist alles nicht so wichtig. Die wichtigen Punkte sind:

• Dies ist ein Modell, das Sie herunterladen und lokal verwenden können.

• Es übertrifft eines der GPT-4-Modelle

• Es übertrifft Mistral Large 2 in der Qualität, während es eine freizügigere Lizenz hat

• Es erreicht die Qualität von Claude 3 Opus.

Dies ist ein kleiner Durchbruch. Wir sind sicher, dass irgendwann auch kleinere Modelle dieses Niveau erreichen werden.

Update: Google Gemini 1.5 Pro Experimental v0801

Normalerweise führen wir keine Benchmark-Updates nach der Veröffentlichung durch, aber diese Nachricht hat es verdient. Einen Monat zu warten, um über das neue Google Gemini-Modell zu berichten, wäre eine Verschwendung.

Dieses Modell wurde am ersten August als öffentliches Experiment veröffentlicht (Sie können es im Google AI Studio finden). Zu diesem Zeitpunkt wurde auch bekannt, dass das Modell seit einiger Zeit in der LMSYS Chatbot Arena läuft und mit mehr als 12.000 Stimmen an der Spitze steht.

Wir haben unseren eigenen Benchmark über die Google AI Studio API durchgeführt (das Modell ist noch nicht auf Vertex AI verfügbar). Die Ergebnisse sind wirklich beeindruckend. Wir sprechen hier von einem erheblichen Sprung in den Modellfähigkeiten gegenüber der ersten Version von Gemini Pro 1.5 im April.

Dieses Google-Modell schaffte es plötzlich, fast alle GPT-4-Modelle zu überholen und zur Spitze aufzuschließen und den dritten Platz zu belegen. Die Ergebnisse sind solide.

Die Ergebnisse hätten sogar noch besser ausfallen können, wenn Gemini Pro 1.5 mehr darauf geachtet hätte, die Anweisungen genau zu befolgen. Während extreme Detailgenauigkeit bei menschlichen Interaktionen nicht immer erforderlich ist, ist sie bei Produkten und LLM-Pipelines, die bei unseren Kunden eingesetzt werden, unerlässlich. Die beiden besten Modelle von OpenAI übertreffen diese Fähigkeit noch.

Dennoch gibt es hervorragende Neuigkeiten: Erstens haben wir eine neue Innovationsquelle, die es geschafft hat, mit OpenAI gleichzuziehen (und wir dachten, dass Google aus dem Rennen ist). Zweitens werden Unternehmen, die sich stark in der Google Cloud engagieren, endlich Zugang zu einem hochwertigen großen Sprachmodell innerhalb des Ökosystems erhalten.

Und wer weiß, ob es Google Gemini 2.0 gelingt, die Modellfähigkeiten noch weiter zu steigern. Das Tempo des Fortschritts war bisher recht beeindruckend. Überzeugen Sie sich einfach selbst: