Der ultimative LLM-Vergleich 2026: 18 Modelle, 972 Messungen — und warum das Flaggschiff verliert

Modellranglisten messen Durchschnitte über Aufgaben, die mit den eigenen nichts zu tun haben. Deshalb dieser Aufbau: eine Aufgabe, die ich tatsächlich benutze, und eine Bewertung, die ohne Schiedsrichter auskommt.

Die Datengrundlage sind die offenen Störungsdaten der Autobahn GmbH^[1] — Baustellen, Warnungen und Sperrungen je Autobahn. Daraus lassen sich beliebig viele Fragen erzeugen, deren richtige Antwort feststeht, bevor ein Modell sie sieht. Sechs Aufgabentypen: ablesen, verrechnen, sortieren, dasselbe unter Ablenkung, eine Frage gegen die Intuition — und eine, die sich aus den Daten nicht beantworten lässt. Bei der ist die einzig richtige Antwort ein ausdrückliches „nicht bestimmbar"; jede genannte Zahl ist nachweislich erfunden.

Warum das Flaggschiff verliert

Der deutlichste Befund betrifft einen einzelnen Anbieter. Google führt zwei Linien: Pro als Spitzenmodell, Flash als schnelle Sparvariante. Die Positionierung legt eine Rangfolge nahe. Die Messung kehrt sie um.

Modell	Treffer	Stabilität	Ø Antwortzeit	Kosten je Durchlauf
Gemini 3.7 Flash	100 %	100 %	2,6 s	$0,0340
Gemini 3.6 Flash	100 %	100 %	2,2 s	$0,0847
Gemini 3.1 Pro	100 %	100 %	5,3 s	$0,3969

Gleiche Trefferquote, gleiche Stabilität — und der Faktor 11,7 im Preis. Das Sparmodell ist zusätzlich doppelt so schnell.

Ein Blick ins Modellverzeichnis erklärt, warum: Die Pro-Linie steht bei Version 3.1, die Flash-Linie ist bei 3.7.^[2] Sechs Versionen Entwicklung liegen dazwischen. Wer beim vermeintlich besseren Modell bleibt, zahlt das Zwölffache für einen Entwicklungsstand von vor mehreren Generationen.

Offene Modelle halten mit

Die zweite Überraschung betrifft eine Klasse, die in Flaggschiff-Vergleichen selten auftaucht: Modelle mit frei verfügbaren Gewichten, die man selbst betreiben kann.

Modell	Treffer	Stabilität	Kosten je Durchlauf
Auf eigener Hardware	100 %	100 %	$0,0000
Muse Glimmer-30B	100 %	100 %	$0,0354
Qwen3.8-27B	100 %	100 %	$0,0533
DeepSeek-V4-Pro	100 %	100 %	$0,0209
zum Vergleich: Claude Opus 5	100 %	100 %	$0,3353

Das Modell in der ersten Zeile läuft auf einem Mac mini in meinem Arbeitszimmer. Es erreichte dieselbe Trefferquote und dieselbe Stabilität wie Claude Opus 5 — und verursachte keine Rechnung.

Kostenlos ist es deshalb nicht. Es brauchte 53,5 Sekunden je Antwort, während die schnellsten API-Modelle bei gut zwei Sekunden lagen. Für nächtliche Stapelverarbeitung ist das gleichgültig, für interaktives Arbeiten unbrauchbar. Bezahlt wird in Wartezeit statt in Dollar — und in einem Rechner, der währenddessen nichts anderes tut.

Nachdenken ist kein Qualitätsmerkmal

Viele Modelle „denken" vor der Antwort schriftlich vor sich hin. Diese Denk-Einheiten werden mitbezahlt, tauchen in der Antwort aber nie auf. Naheliegende Vermutung: Wer mehr nachdenkt, rechnet sauberer. Die Messung stützt das nicht.

Modell	Ausgabe je Antwort	davon Denken	Treffer	Ø Zeit
Claude Opus 4.6	60 Token	0	100 %	2,2 s
Claude Opus 5	80 Token	0	100 %	3,6 s
Claude Sonnet 5	85 Token	0	98 %	3,5 s
Qwen3.7-Flash	1.042 Token	991	100 %	7,3 s
Qwen3.6-35B-a3b	1.172 Token	864	98 %	15,8 s

Die drei Modelle ohne jede Denkphase gehören zu den schnellsten und treffsichersten im Feld. Ein Modell mit 991 Denk-Token je Antwort schneidet nicht besser ab — nur langsamer.

Das hat eine praktische Folge, die kein Preisschild verrät: Die Rechnung hängt an der Antwortlänge, nicht am Tarif. Ein günstiges Modell, das ausgiebig nachdenkt, kann teurer werden als ein teures, das direkt antwortet.

Kein einziges Modell hat etwas erfunden

Auf 162 unbeantwortbare Fragen kamen 159 lesbare Antworten — und in keiner einzigen stand eine erfundene Zahl. Alle Modelle antworteten korrekt mit „nicht bestimmbar".

Das ist bemerkenswert, weil derselbe Aufgabentyp in einem früheren Versuch mit offener Frageform genau das Gegenteil produzierte: erfundene Gewichtungsrechnungen, die es in den Daten nicht gibt. Der Unterschied lag nicht am Modell, sondern an der Frage — präzise gestellt, mit festem Antwortformat und ausdrücklicher Erlaubnis, „nicht bestimmbar" zu antworten. Warum das mehr entscheidet als die Modellwahl, steht in „Nicht das Modell — die Frage".

Nachschlagewerk: alle 18 Modelle

Sortiert nach Kosten je Durchlauf (18 Aufgaben × 3 Läufe = 54 Anfragen je Modell). „Ausfall" zählt unlesbare Ausgaben und Netzfehler; sie fließen nicht in die Trefferquote ein, sondern werden getrennt ausgewiesen.^[3]

Dreizehn von achtzehn Modellen lösten alle Aufgaben fehlerfrei. Zwischen dem günstigsten und dem teuersten davon liegt der Faktor 48.

Die interessanteste Spalte ist nicht die Trefferquote, sondern die Stabilität. Qwen3.6-27B beantwortete dieselbe Frage bei drei Durchläufen nur zu 94 Prozent gleich, produzierte 11 unlesbare Ausgaben und brauchte mit 27 Sekunden am längsten von allen API-Modellen — bei 19 Cent je Durchlauf, dem 23-Fachen des fehlerfreien Qwen3.7-Flash.

Grenzen dieses Tests

Eine Domäne, ein Aufgabenzuschnitt, kurze Antworten in festem Format. Über freies Schreiben, längere Programmierarbeit oder mehrstufige Planung sagt das nichts. Die Kontextmengen lagen bei etwa 1.800 Token — unter einem Prozent dessen, was diese Modelle verkraften. Drei Durchläufe je Aufgabe zeigen grobe Schwankungen, aber keine seltenen Ausreißer. Und Tarife ändern sich: Alle Preise sind Momentaufnahmen des Messzeitpunkts.

Für genau das, was hier fehlt — freiere Antworten, bei denen es keine berechenbare Lösung gibt —, liegt eine ältere Messreihe vor: 42 Modelle im Judge-Lauf vom Juli, in dem ein Sprachmodell die Antworten der anderen bewertet. Andere Methode, anderes Teilnehmerfeld, deshalb keine gemeinsame Rangliste — aber die zweite Hälfte des Bildes.

Was der Test dagegen zeigt: Für eine klar gestellte Frage an übergebene Daten liefern 18 Modelle über zwei Größenordnungen im Preis dasselbe Ergebnis. Gesamtkosten aller 972 Messungen: 2,14 US-Dollar.

Quellenverzeichnis

• [1] Autobahn App API, bund.dev — offene Schnittstelle der Autobahn GmbH; Baustellen-, Warn- und Sperrungsdaten, abgerufen 07.08.2026 und für alle Läufe eingefroren. Der Störungswert ist eine eigene Berechnung (Baustellen×3 + Warnungen×5 + Sperrungen×8), keine amtliche Kennzahl.
• [2] Modellverfügbarkeit und Tarife, abgerufen 16.08.2026 über das öffentliche Modellverzeichnis von OpenRouter. Dort ist die Pro-Linie von Gemini bei Version 3.1 gelistet, die Flash-Linie bei 3.7. Vermittelte Tarife können von den Listenpreisen der Anbieter abweichen.
• [3] Eigene Messungen vom 7. und 16.08.2026 mit einem selbst geschriebenen Prüfskript: 972 Anfragen über 18 Modelle, 18 Aufgaben je Modell, jede dreimal wiederholt. Kosten aus den tatsächlich gemessenen Tokenzahlen und den Tarifen des Messzeitpunkts berechnet. Trefferquote über verwertbare Antworten; Netzfehler und unlesbare Ausgaben getrennt als Ausfall ausgewiesen.