82 Prozent der Antwort sieht niemand

Anfang August erschien eine neue Generation eines chinesischen Sprachmodells — mit einer großen Variante für Rechenzentren und einer kleineren, die als frei verfügbar angekündigt wurde und auf gut 17 Gigabyte Arbeitsspeicher laufen soll.^[1] Mein Mac mini hat 32 Gigabyte. Die Frage lag also nahe: Lohnt sich das überhaupt, oder reicht, was ich längst lokal laufen habe?

Diese Frage lässt sich nicht mit einer Rangliste beantworten. Ranglisten messen Durchschnitte über Aufgaben, die nichts mit meinen zu tun haben. Also nahm ich eine Aufgabe, die ich wirklich benutze.

Der Testfall: eine Aufgabe, die ich ohnehin habe

Ich betreibe für mich selbst einen kleinen Routenplaner für deutsche Autobahnen. Er zieht Baustellen, Warnungen und Sperrungen aus der offenen Schnittstelle der Autobahn GmbH^[2], rechnet daraus je Autobahn einen Störungswert und legt einem Sprachmodell die Zahlen zur Bewertung vor. Die Frage an das Modell war bewusst so gestellt, dass sie nicht mit Allgemeinwissen zu beantworten ist:

Von Hamburg nach München: Welche Route hat die wenigsten Baustellen — durchgehend A7, oder der Umweg über A1/A2/A9? Nenne mir die Störungsscores beider Varianten und sag klar, welche du empfiehlst.

Die Zahlen dazu standen alle im Kontext. Es war reine Fleißarbeit: heraussuchen, addieren, vergleichen, begründen. Genau solche Aufgaben verraten mehr über ein Modell als jede Prüfungsfrage, weil sie nicht raten lassen — die richtige Antwort steht schon da, man muss sie nur sauber verarbeiten.

Ein methodischer Punkt vorweg: Die Baustellendaten sind live und ändern sich stündlich. Hätte ich für jedes Modell frisch abgefragt, wäre jeder Unterschied im Ergebnis nicht mehr vom Modell zu trennen gewesen, sondern könnte auch von veränderten Daten stammen. Also habe ich die Daten einmal geholt und eingefroren. Alle Modelle sahen exakt denselben Text.

Der Fehlstart, den ich beinahe übersehen hätte

Der erste Durchlauf lieferte ein eindeutiges Ergebnis: fünfmal nichts. Jedes Modell gab eine leere Antwort zurück. Keine Fehlermeldung, kein Absturz, keine Verweigerung — einfach leerer Text.

Die verführerische Deutung wäre gewesen: Die Aufgabe ist zu schwer, oder mein Prompt taugt nichts. Beides falsch. Ein Blick in die unverarbeitete Antwort zeigte etwas anderes:

finish_reason: length · reasoning_tokens: 1275 von 1500

Die Modelle hatten geantwortet. Sie hatten nur zuerst nachgedacht — und zwar so ausführlich, dass mein gesetztes Ausgabelimit von 1.500 Tokens schon erschöpft war, bevor der erste Satz der eigentlichen Antwort geschrieben wurde. Das Denken hatte die Antwort aufgefressen.

Das ist der eigentlich wichtigste Befund dieses Nachmittags, und er hat nichts mit Modellqualität zu tun: Ein Testaufbau kann still kaputt sein und trotzdem plausible Ergebnisse ausspucken. Hätte ich nur die Trefferquote protokolliert, stünde jetzt in meiner Tabelle „alle fünf Modelle versagt" — und ich hätte eine Erklärung dafür erfunden. Wer Modelle vergleicht, muss in die Rohdaten schauen, nicht nur auf das Endergebnis.

Mit einem größeren Limit lief der Test durch.

Was dabei herauskam

Fünf Kandidaten: die neue große Variante des chinesischen Anbieters, dessen mittelgroßes Vorgängermodell, zwei Modelle eines anderen Anbieters aus derselben Region, und mein lokales Modell auf dem Mac mini. Die Preise stammen von der Vermittlungsplattform, über die ich die Cloud-Modelle anspreche.^[3]

Modell	Zeit	Ausgabe-Tokens	davon Denken	Kosten je Anfrage
Große Variante (neu)	72 s	3.082	82 %	$0,0201
Mittleres Vorgängermodell	78 s	3.445	59 %	$0,0129
Anderer Anbieter, groß	31 s	681	0 %	$0,0009
Anderer Anbieter, klein	37 s	3.547	76 %	$0,0007
Lokal auf dem Mac mini	192 s	3.702	65 %	—

Alle fünf kamen zur selben Empfehlung: A7. Alle fünf rechneten die Summe für die Umwegvariante korrekt aus. Auf der Ebene „richtig oder falsch" trennt sie nichts. Interessant wird es eine Ebene darunter.

Befund 1: Der teuerste Kandidat war nicht der beste

Das neue große Modell lieferte die knappste Antwort im Feld — korrekt, sauber formatiert, aber ohne Mehrwert. Dabei entfielen 82 Prozent seiner Ausgabe-Tokens auf den Denkprozess. Das ist der Teil, den ich vollständig bezahle und niemals lese.

Das kleinste und billigste Modell im Test kostete pro Anfrage $0,0007 statt $0,0201 — ein Neunundzwanzigstel. Und es lieferte als einziges eine Bemerkung, die mich wirklich beeindruckt hat:

Selbst wenn du die Scores nicht einfach addieren darfst (weil du nur Teilstücke der A1, A2 und A9 nutzt), ist der Unterschied so groß, dass die A7 klar vorn liegt.

Das ist der methodische Schwachpunkt meiner eigenen Aufgabenstellung. Wer von Hamburg nach München über A1, A2 und A9 fährt, befährt von keiner dieser Autobahnen die volle Länge — die Störungswerte einfach zu addieren, überzeichnet den Umweg. Mein Prompt legt diese Addition nahe. Vier Modelle folgten ihr brav. Das billigste widersprach der Vorlage, begründete, warum das Ergebnis trotzdem hält, und rechnete dann sauber weiter.

Befund 2: Denken schlägt Größe — beim selben Anbieter

Der aufschlussreichste Vergleich läuft nicht zwischen den Anbietern, sondern innerhalb eines einzigen. Zwei Modelle derselben Familie, dasselbe Haus, dieselbe Aufgabe. Der eine Unterschied: Das größere antwortete ohne jede Denkphase — null Reasoning-Tokens, direkt aus dem Stand.

Und genau dort ging es schief. Es erfand eine Zahl:

Gewichteter Gesamtscore (anteilig nach Streckenlänge): ca. 650–700

Diese Zahl steht nirgends in den Daten. Es gibt keine Streckenlängen im Kontext, keine Gewichtung, keine Grundlage für 650 bis 700. Sie klingt nur so, als hätte jemand gerechnet. Zwei Absätze später widerspricht sich das Modell selbst — „obwohl der Störungsscore mit 892 zunächst höher erscheint als der gemittelte Umweg-Score" — und rettet die richtige Empfehlung mit vollständig ausgetauschten Argumenten.

Das kleinere Modell desselben Anbieters, das 76 Prozent seiner Tokens ins Nachdenken steckte, machte diesen Fehler nicht.

Ich halte das für die unangenehmste Fehlerart überhaupt. Ein Modell, das offensichtlichen Unsinn schreibt, wird korrigiert. Ein Modell, das zum richtigen Ergebnis kommt und den Weg dorthin erfindet, wird geglaubt — die Empfehlung stimmt ja. Ich hatte ausdrücklich nach den Störungswerten beider Varianten gefragt. Bekommen habe ich eine Zahl, die es nicht gibt.

Befund 3: Das lokale Modell fand als einziges die bessere Antwort

Der langsamste Kandidat — mein eigenes Modell auf dem Mac mini, gut dreimal so langsam wie die Cloud — lieferte inhaltlich das Beste. Es war das einzige, das über die gestellte Frage hinausdachte:

Die Daten zeigen, dass die A3 einen niedrigeren Störungsscore (700) und weniger Baustellen (176) hat als die A7 (892 / 213). Prüfen Sie vor Abfahrt, ob sich bei Würzburg ein Wechsel auf die A3 lohnt.

Die A3 stand im Kontext, sie war nur nicht Teil der Frage. Alle vier Cloud-Modelle ignorierten sie. Eine der ausdrücklichen Aufgaben lautete „gib konkrete Alternativen an" — erfüllt hat sie nur das Modell, das auf meinem Schreibtisch steht.

Und eine erfundene App

Ein Kandidat empfahl mir zum Abschluss, vor der Abfahrt „die offizielle BASt-Verkehrsapp" zu prüfen. Die BASt ist die Bundesanstalt für Straßenwesen — ein Forschungsinstitut für Straßenbau, Fahrzeugtechnik und Verkehrssicherheit. Sie betreibt keine Verkehrs-App für Autofahrer.^[4] Die App, die es tatsächlich gibt, kommt von der Autobahn GmbH.^[5] Dasselbe Modell erfand im selben Absatz einen Autobahnknoten, den es nicht gibt.

Bemerkenswert daran: Das billigste Modell im Feld nannte die richtige App beim richtigen Herausgeber.

Was ich daraus mitnehme

Für meine Ausgangsfrage — lohnt ein neues Modell auf dem Mac mini — lautet die Antwort: für diese Aufgabe nicht. Was lokal läuft, reicht inhaltlich vollkommen. Was mich stört, sind die 192 Sekunden. Ein Wechsel würde sich über die Geschwindigkeit rechnen, nicht über die Qualität.

Die drei allgemeineren Lehren wiegen schwerer:

Der Denkprozess ist eine eigene Größe. Nicht Preis, nicht Parameterzahl, nicht Anbieter — ob ein Modell vor der Antwort nachdenkt, war hier der beste Vorhersagewert für Korrektheit. Bei Aufgaben, in denen Zahlen aus dem Kontext verrechnet werden, ist die Denkphase kein Luxus.

Man bezahlt, was man nie sieht. Zwischen 59 und 82 Prozent der Ausgabe waren unsichtbare Denkschritte, voll abgerechnet. Wer Kosten je Anfrage kalkuliert und dabei nur die sichtbare Antwort veranschlagt, verrechnet sich um den Faktor drei bis fünf.

Prüfe deinen Messaufbau, bevor du dem Ergebnis glaubst. Fünf leere Antworten sahen aus wie fünf gescheiterte Modelle. Sie waren ein zu klein gesetzter Parameter. Ein Testaufbau, der Denkphasen nicht einkalkuliert, misst nicht Modellqualität, sondern das eigene Token-Limit.

Grenzen dieses Tests

Eine Aufgabe. Ein Durchlauf pro Modell. Kein Mittelwert über mehrere Versuche, keine Wiederholung an anderen Tagen, keine zweite Aufgabenart. Sprachmodelle antworten nicht deterministisch — ein zweiter Lauf kann anders ausfallen, und die erfundene Zwischenzahl könnte beim nächsten Mal ausbleiben.

Was so ein Test leisten kann, ist etwas anderes: auffällige Muster zeigen und Hypothesen liefern, die sich anschließend prüfen lassen. Dass ein Modell ohne Denkphase eine Zahl erfindet, während sein kleinerer Bruder mit Denkphase korrekt rechnet, ist genau so ein Muster. Ob es standhält, entscheiden mehr Läufe — nicht dieser Artikel.

Was er dagegen sicher zeigt: dass die interessanten Unterschiede zwischen Modellen selten dort liegen, wo die Ranglisten hinschauen.

Quellenverzeichnis

• [1] Qwen (Alibaba), Ankündigung Qwen3.8-Max und Qwen3.8-27B — abgerufen 06.08.2026 (offene Gewichte für die 27B-Variante angekündigt; Speicherbedarf ca. 17 GB laut Unsloth AI). Zum Zeitpunkt des Tests waren die Gewichte noch nicht veröffentlicht.
• [2] Autobahn App API, bund.dev — offene Schnittstelle der Autobahn GmbH; Baustellen-, Warn- und Sperrungsdaten, abgerufen 06.08.2026.
• [3] Preise je 1 Mio. Tokens, abgefragt über die offizielle Modell-Schnittstelle von OpenRouter am 06.08.2026: große Variante $2,00 Eingabe / $6,00 Ausgabe; mittleres Vorgängermodell $0,60 / $3,60; anderer Anbieter groß $0,43 / $0,87, klein $0,09 / $0,18. Die Kosten je Anfrage in der Tabelle sind eigene Berechnungen aus diesen Tarifen und den tatsächlich gemessenen Tokenzahlen.
• [4] Bundesanstalt für Straßenwesen (BASt) — abgerufen 07.08.2026 (Forschungseinrichtung; kein Endnutzer-Verkehrsdienst im Angebot).
• [5] Die Autobahn App, Autobahn GmbH des Bundes — abgerufen 07.08.2026 (offizielle App, kostenlos für iOS und Android).