Ich wollte nur wissen, ob ein neues Sprachmodell auf meinen Mac mini passt. Daraus wurden 864 Messungen mit 11 Modellen an echten Baustellendaten deutscher Autobahnen. Das Ergebnis hat mich überrascht — und zwar zweimal: Erst gab mir ein Modell eine erfundene Zahl, und ich hatte dafür eine überzeugende Erklärung parat. Dann stellte sich heraus, dass meine Erklärung falsch war. Was übrig blieb, ist eine Erkenntnis, die weniger mit Modellen zu tun hat als mit der Art, wie man fragt.
Anfang August erschien eine neue Generation eines chinesischen Sprachmodells, angekündigt mit einer kleineren Variante, die auf etwa 17 Gigabyte Arbeitsspeicher laufen soll.[1] Mein Mac mini hat 32 Gigabyte. Also die naheliegende Frage: Lohnt sich das, oder reicht, was ich längst lokal betreibe?
Ranglisten beantworten das nicht. Sie messen Durchschnitte über Aufgaben, die mit meinen nichts zu tun haben. Also nahm ich eine Aufgabe, die ich wirklich benutze.
Der erste Versuch — und ein überzeugender Irrtum
Ich betreibe für mich einen kleinen Routenplaner für deutsche Autobahnen. Er zieht Baustellen, Warnungen und Sperrungen aus der offenen Schnittstelle der Autobahn GmbH[2], rechnet daraus je Autobahn einen Störungswert und legt einem Sprachmodell die Zahlen vor. Meine Frage an fünf Modelle:
Von Hamburg nach München: Welche Route hat die wenigsten Baustellen — durchgehend A7, oder der Umweg über A1/A2/A9? Nenne mir die Störungswerte beider Varianten und sag klar, welche du empfiehlst.
Alle fünf empfahlen die A7. Alle fünf rechneten korrekt. Bis auf eines: Es lieferte eine Zahl, die es nicht gibt.
Gewichteter Gesamtscore (anteilig nach Streckenlänge): ca. 650–700
Im Kontext steht keine einzige Streckenlänge. Es gibt keine Gewichtung, keine Grundlage für diese Zahl. Sie klingt nur, als hätte jemand gerechnet. Zwei Absätze später widersprach sich das Modell selbst und rettete die richtige Empfehlung mit ausgetauschten Argumenten.
Ich hatte sofort eine Erklärung: Dieses Modell hatte als einziges ohne Denkphase geantwortet — null sogenannte Reasoning-Tokens, direkt aus dem Stand. Die anderen hatten zwischen 59 und 82 Prozent ihrer Ausgabe ins Nachdenken gesteckt und rechneten sauber. Eine schöne, plausible Geschichte: Denken schlägt Größe.
Ich hatte den Artikel dazu schon geschrieben. Bevor ich ihn veröffentlichte, ließ ich denselben Aufruf fünfmal wiederholen.
Fünf Wiederholungen, und die Erklärung zerfiel
In allen fünf Wiederholungen dachte dasselbe Modell ausgiebig nach — zwischen 79 und 100 Prozent seiner Ausgabe. Und erfand trotzdem in drei von fünf Fällen eine „anteilige" oder „gewichtete" Rechnung. Umgekehrt lieferte ein anderes Modell mit null Denkanteil ein völlig korrektes Ergebnis.
Die Denkphase erklärte gar nichts. Sie schwankte beim selben Modell, beim selben Wortlaut, bei derselben Einstellung zwischen 0 und 100 Prozent. Was ich für eine Modelleigenschaft gehalten hatte, war Zufallsrauschen — und ich hätte es als Erkenntnis verkauft.
Das ist der Grund, warum dieser Artikel anders aussieht als geplant. Ein einzelner Durchlauf erzeugt eine Beobachtung, keine Ursache. Wer aus einem Durchlauf eine Erklärung ableitet, findet immer eine — sie ist nur meistens falsch.
Ein Test, der sich selbst auswertet
Also baute ich den Versuch um. Der entscheidende Gedanke: Die richtige Antwort muss sich berechnen lassen, bevor ein Modell sie sieht. Dann braucht es keinen Menschen, der Antworten liest und beurteilt — und keine zweite KI als Schiedsrichter, die dieselben Fehler machen kann.
Aus den Autobahndaten lassen sich beliebig viele solcher Aufgaben erzeugen. Sechs Typen, jeder maschinell prüfbar:
| Typ | Beispiel | Richtige Antwort |
|---|---|---|
| Ablesen | Wie viele Sperrungen hat die A9? | eine Zahl |
| Rechnen | Summe der Störungswerte von A1, A2, A3 | eine Zahl |
| Sortieren | Die drei Autobahnen mit den niedrigsten Werten | geordnete Liste |
| Ablenkung | dieselbe Rechnung, aber 20 statt 8 Zeilen Kontext | eine Zahl |
| Gegen die Intuition | Welche stark befahrene Autobahn ist am wenigsten gestört? | eine Kennung |
| Unbeantwortbar | Wie hoch ist der streckengewichtete Wert? | nicht bestimmbar |
Der letzte Typ ist der eigentliche Kern. Er greift genau den Fehler auf, den ich beobachtet hatte: eine Frage, die sich aus den Daten nicht beantworten lässt. Die einzig richtige Antwort ist ein ausdrückliches „nicht bestimmbar". Jede genannte Zahl ist nachweislich erfunden.
Dazu kamen zwei methodische Regeln. Erstens werden die Störungsdaten einmal geholt und eingefroren — sonst sähe jedes Modell andere Zahlen, und Unterschiede wären nicht mehr dem Modell zuzuordnen. Zweitens läuft jede Aufgabe dreimal, um Schwankung von Können zu trennen.
11 Modelle, 864 Messungen
Angetreten sind Claude Opus 5 und Claude Sonnet 5, Gemini 3.1 Pro, Kimi K3, GLM 4.6, vier Modelle aus der Qwen- und DeepSeek-Familie — und das Modell auf meinem eigenen Mac mini. Alle bekamen zeichengleich dieselben Aufgaben. Die Preise stammen von der Vermittlungsplattform, über die ich die Cloud-Modelle anspreche.[3]
| Modell | Treffer | Stabilität | Kosten je Durchlauf |
|---|---|---|---|
| Qwen3.7-Flash | 100 % | 100 % | $0,0083 |
| Lokal auf dem Mac mini | 100 % | 100 % | — |
| DeepSeek-V4-Pro | 100 % | 100 % | $0,0209 |
| GLM 4.6 | 100 % | 94 % | $0,0807 |
| Qwen3.8-Max | 100 % | 100 % | $0,1270 |
| Kimi K3 | 100 % | 94 % | $0,2429 |
| Claude Opus 5 | 100 % | 100 % | $0,3353 |
| Gemini 3.1 Pro | 100 % | 94 % | $0,3969 |
| Claude Sonnet 5 | 98 % | 94 % | $0,1367 |
| Qwen3.6-27B | 98 % | 56 % | $0,1887 |
| DeepSeek-V4-Flash | 89 % | 72 % | $0,0039 |
Acht Modelle lösten alle Aufgaben fachlich fehlerfrei — fünf davon ohne jede Störung, drei mit einer einzelnen unlesbaren Ausgabe, die getrennt ausgewiesen wird. Das teuerste kostet das 48-Fache des günstigsten fehlerfreien Modells — für dasselbe Ergebnis. Und das Modell, das auf meinem Schreibtisch läuft und keinen Cent kostet, steht in derselben Zeile wie die Weltspitze.
Noch deutlicher: Kein einziges Modell hat halluziniert. Bei 96 unbeantwortbaren Fragen antworteten alle 11 korrekt mit „nicht bestimmbar". Der Aufgabentyp, den ich für den härtesten hielt, war der leichteste — weil die Regel ausdrücklich in der Anweisung stand.
Was trennt, ist Verlässlichkeit — nicht Können
Die interessante Spalte ist nicht die Trefferquote, sondern die Stabilität. Qwen3.6-27B beantwortete dieselbe Frage bei drei Durchläufen nur zu 56 Prozent gleich — bei den Aufgaben mit mehr Kontext sogar nur zu 20 Prozent. Es war dabei nicht besonders billig, sondern lag mit 19 Cent je Durchlauf im oberen Mittelfeld: teurer als das fehlerfreie Qwen3.7-Flash, und zwar um das 23-Fache.
Für den praktischen Einsatz ist das gravierender als ein Prozentpunkt weniger Treffer. Ein Modell, das manchmal richtig liegt, zwingt zur Kontrolle jeder einzelnen Antwort — und macht damit den Zeitgewinn zunichte, für den man es einsetzt.
Der Kontext-Test: nichts passiert
Bleibt die Frage, ob die Gleichstand-Ergebnisse nur an der kleinen Datenmenge liegen. Also dieselbe Rechenaufgabe noch einmal, bei 8, 40 und 114 Zeilen Kontext — und bei der größten Menge zusätzlich mit den relevanten Zeilen einmal am Anfang, einmal in der Mitte, einmal am Ende.
Ergebnis: kein messbarer Unterschied. Alle Modelle bis auf das bereits erwähnte Qwen3.6-27B lösten sämtliche Varianten fehlerfrei, unabhängig davon, wo die gesuchten Zeilen standen.
Das gehört ehrlich eingeordnet: 114 Zeilen sind etwa 1.800 Token. Die getesteten Modelle verkraften zwischen 262.000 und einer Million. Ich habe also unter einem Prozent ihrer Kapazität ausgereizt. Dass dabei nichts bricht, ist beruhigend für Alltagsmengen — über das Verhalten bei wirklich langen Dokumenten sagt es nichts.
Der versteckte Preis des eigenen Rechners
In meiner Tabelle steht beim lokalen Modell ein Strich statt eines Preises. Das stimmt fachlich und ist trotzdem unvollständig.
Während der Kontext-Durchläufe belegte das Modell rund 21 der 32 Gigabyte Arbeitsspeicher. Für die längeren Eingaben kam weiterer Bedarf dazu, und das Betriebssystem begann auszulagern — am Ende lagen 16 Gigabyte Auslagerungsdateien auf der SSD. Der Rechner hatte plötzlich nur noch wenige Gigabyte frei, und ein nächtliches Datenbank-Backup wäre daran fast gescheitert.
Das lokale Modell war also nicht kostenlos. Es war nur nicht in Dollar abgerechnet, sondern in Schreibzugriffen, Speicherplatz und Betriebsrisiko. Bei kurzen Anfragen läuft es hervorragend; bei langem Kontext kippt es.
Der Widerspruch zum letzten Test — und was er verrät
Vor zwei Wochen habe ich 11 KI-Modelle an einer echten Admin-Aufgabe gemessen: einen Server-Zustandsbericht schreiben lassen und die Ergebnisse bewerten. Dort spreizten sich die Modelle von 2,8 bis 9,7 Punkten — Faktor dreieinhalb zwischen dem besten und dem schlechtesten.
Jetzt, an der Faktenaufgabe, liegen sie zwischen 89 und 100 Prozent. Praktisch alle gleichauf. Zwei Tests, teilweise dieselben Modelle, völlig unterschiedliche Streuung.
Am deutlichsten wird es an zwei Teilnehmern, die in beiden Tests antraten:
| Modell | Admin-Aufgabe (offen) | Faktenaufgabe (geschlossen) |
|---|---|---|
| Modell auf meinem Mac mini | Platz 9 von 11 (6,3 Punkte) | 100 % — gleichauf mit der Spitze |
| Claude Sonnet 5 | Platz 6, hinter vier günstigeren | 98 % — einziges Spitzenmodell mit Fehler |
Das ist kein Widerspruch, sondern der Kern der Sache. Mein lokales Modell ist nicht pauschal „gut" oder „schlecht". Bei offener Analysearbeit, wo es formulieren, gewichten und einordnen muss, fällt es deutlich ab. Bei einer klar gestellten Frage an übergebene Daten steht es neben Claude Opus 5.
„Welches Modell ist das beste?" ist deshalb die falsche Frage. Die richtige lautet: Welche Art von Aufgabe habe ich — und trennt sie Modelle überhaupt? Bei geschlossenen Faktenaufgaben, so das Ergebnis hier, tut sie es kaum noch.
Was ich mitnehme
Die Frageform entscheidet, nicht die Modellwahl. Das ist der eigentliche Befund. Dieselben Modelle, dieselben Daten, dieselbe Fachfrage: Offen gestellt kam eine erfundene Gewichtungsrechnung heraus. Präzise gestellt, mit festem Antwortformat und ausdrücklicher Erlaubnis, „nicht bestimmbar" zu antworten, kamen 864 fehlerfreie Ergebnisse heraus. An deinem Prompt kannst du etwas ändern — am Modell nicht.
Für Faktenaufgaben ist die Modellwahl weitgehend gelöst. Zwei Größenordnungen Preisunterschied, praktisch dasselbe Ergebnis. Wer für solche Aufgaben ein Spitzenmodell einsetzt, kauft keine bessere Antwort, sondern nur eine teurere.
Prüfe deinen Messaufbau, bevor du dem Ergebnis glaubst. Dieser Test hat mich dreimal mit einem vermeintlichen Modellversagen getäuscht, das jedes Mal in meinem Werkzeug lag: ein zu knapp gesetztes Ausgabelimit, ein Modell das seinen Denkprozess unmarkiert in die Antwort schrieb, und ein Dienst der ein anderes Protokoll sprach als erwartet. Ein Messwerkzeug meldet zuerst seine eigenen Fehler.
Grenzen dieses Tests
Eine Domäne, ein Aufgabenzuschnitt, kurze Antworten in festem Format. Über freies Schreiben, längere Programmierarbeit oder mehrstufige Planung sagt das nichts. Die Kontextmengen waren, wie beschrieben, klein. Und drei Durchläufe je Aufgabe zeigen grobe Schwankung, aber keine seltenen Ausreißer.
Was der Test dagegen sicher zeigt: Für eine klar gestellte Frage an übergebene Daten liefern 11 Modelle über zwei Größenordnungen im Preis dasselbe Ergebnis. Und dass der Unterschied zwischen einer erfundenen Zahl und 864 korrekten Antworten nicht im Modell lag, sondern in der Frage.
Gesamtkosten des Ganzen: 2,26 US-Dollar.
Nachtrag vom 16. August: das Modell, um das es anfangs ging
Dieser Artikel beginnt mit einer Frage, die er nicht beantworten konnte. Anfang August war die kleine, offene Variante der neuen Modellgeneration angekündigt, aber noch nicht veröffentlicht — getestet wurde deshalb die Vorgängergeneration. Neun Tage später ist sie verfügbar.[4]
Also derselbe Versuch noch einmal, mit fünf Modellen, die es beim ersten Durchgang noch nicht gab oder die ich damals nicht dabeihatte. Entscheidend: Sie traten gegen zeichengleich dieselben Aufgaben an. Das Prüfskript rekonstruiert die Fragen aus den eingefrorenen Daten des 7. August und bricht ab, wenn auch nur eine davon abweicht — sonst wäre der Vergleich wertlos.
| Modell (neu) | Treffer | Stabilität | Kosten je Durchlauf |
|---|---|---|---|
| Muse Glimmer-30B | 100 % | 100 % | $0,0354 |
| Qwen3.8-27B | 100 % | 100 % | $0,0533 |
| Qwen3.6-35B-a3b | 98 % | 94 % | $0,0680 |
| Qwen3.7-Plus | 94 % | 89 % | $0,0542 |
| Claude Opus 4.6 | 100 % | 100 % | $0,2672 |
Das Modell, dessentwegen der ganze Test entstand, besteht ihn fehlerfrei — volle Trefferquote, volle Stabilität, für ein Fünftel dessen, was das teuerste fehlerfreie Modell dieser Runde kostet. Nur ändert das nichts: Es steht damit in derselben Zeile wie das Modell, das ohnehin schon auf meinem Schreibtisch läuft. Die Frage „lohnt sich der Wechsel?" hat sich nicht zugunsten des Neuen entschieden, sondern aufgelöst.
Interessanter ist, wer durchfällt. Qwen3.7-Plus steht in der Herstellertabelle über der 27B-Variante des Vorgängers — hier kommt es auf 94 Prozent Treffer und beantwortet nur 16 von 18 Aufgaben bei Wiederholung gleich. Beim Sortieren liegt es bei 78 Prozent. Und das schwächste Modell des gesamten Felds bleibt weiterhin eines mit gutem Ruf: Qwen3.6-27B, 98 Prozent Treffer bei 56 Prozent Stabilität. Beide Male trennt erst die Wiederholung, was die Einzelmessung verdeckt.
Der beste Antwortende denkt am wenigsten
Zu Beginn dieses Artikels steht eine These, die zerfiel: Denken schlägt Größe. Die neue Runde liefert dazu einen Nachschlag. Gemessen wurde, wie viel jedes Modell ausgibt und wie viel davon auf die Denkphase entfällt:
| Modell | Ausgabe je Antwort | davon Denkphase | Ø Dauer |
|---|---|---|---|
| Claude Opus 4.6 | 60 Token | 0 | 2,2 s |
| Muse Glimmer-30B | 315 Token | 235 | 4,1 s |
| Qwen3.8-27B | 221 Token | 143 | 6,5 s |
| Qwen3.7-Plus | 639 Token | 588 | 11,8 s |
| Qwen3.6-35B-a3b | 1.172 Token | 864 | 15,8 s |
Das fehlerfreie Modell an der Spitze löst die Aufgaben ohne eine einzige Denk-Einheit in 60 Token und gut zwei Sekunden. Das Modell mit dem längsten Nachdenken — 864 Denk-Token, siebenmal so lange — landet bei 98 Prozent und 94 Prozent Stabilität. Mehr Nachdenken war hier kein Vorteil, sondern nur teurer und langsamer.
Das erklärt nebenbei eine Rechnung, die nicht aufging. Ich hatte die Kosten für Claude Opus 4.6 auf rund 2 Dollar geschätzt, weil es je Token etwa 33-mal so viel kostet wie das günstigste Modell der Runde. Tatsächlich waren es 27 Cent. Der Grund steht in der Tabelle: Es erzeugt rund 20-mal weniger Token. Der Tarif entscheidet nicht über die Rechnung — die Antwortlänge tut es. Ein günstiges Modell, das ausgiebig nachdenkt, kann teurer werden als ein teures, das direkt antwortet.
Was der Nachtrag am Befund ändert
Nichts — und das ist der Punkt. Über beide Runden hinweg stehen jetzt 16 Modelle, 864 Messungen an der Faktenachse. Elf davon lösen die Aufgaben fachlich fehlerfrei, acht ohne jede Störung. Auf 144 unbeantwortbare Fragen kamen 141 lesbare Antworten — und in keiner einzigen stand eine erfundene Zahl. Auch die fünf neuen Modelle nicht.
Die Preisspanne zwischen dem günstigsten und dem teuersten fehlerfreien Modell liegt weiterhin beim 48-Fachen. Fünf zusätzliche Modelle, davon zwei aus einer neueren Generation, haben daran nichts verschoben. Der Befund von Anfang August wird nicht widerlegt, sondern breiter: Bei geschlossenen Faktenaufgaben ist die Modellwahl weitgehend gelöst — was bleibt, ist die Frageform.
Zusatzkosten der zweiten Runde: 0,48 US-Dollar. Gesamt damit rund 2,74 US-Dollar.
Quellenverzeichnis
- [1] Qwen (Alibaba), Ankündigung Qwen3.8-Max und Qwen3.8-27B — abgerufen 06.08.2026; Speicherbedarf der 27B-Variante laut Unsloth AI (ca. 17 GB). Die offenen Gewichte waren zum Testzeitpunkt noch nicht veröffentlicht; getestet wurde daher die Vorgängergeneration.
- [2] Autobahn App API, bund.dev — offene Schnittstelle der Autobahn GmbH; Baustellen-, Warn- und Sperrungsdaten, abgerufen 06. und 07.08.2026. Der Störungswert ist eine eigene Berechnung (Baustellen×3 + Warnungen×5 + Sperrungen×8), keine amtliche Kennzahl.
- [3] Preise je 1 Mio. Token, abgefragt über die offizielle Modell-Schnittstelle von OpenRouter am 07.08.2026. Die Kosten je Durchlauf in der Tabelle sind eigene Berechnungen aus diesen Tarifen und den tatsächlich gemessenen Tokenzahlen über 54 Anfragen pro Modell.
- [4] Verfügbarkeit und Tarife der fünf Modelle des Nachtrags: Modellverzeichnis von OpenRouter, abgerufen 16.08.2026; Größen und Varianten der offenen Gewichte laut Ollama-Modellbibliothek, ebenfalls 16.08.2026. Trefferquote, Stabilität, Kosten und Tokenzahlen des Nachtrags sind eigene Messungen vom 16.08.2026 über je 54 Anfragen pro Modell, gegen die am 07.08.2026 eingefrorenen Daten.
Transparenz: Alle Messwerte stammen aus eigenen Testläufen am 6., 7. und 16. August 2026 mit einem selbst geschriebenen Prüfskript; die Anfragen liefen über einen selbst bezahlten Zugang bei OpenRouter, dazu ein Modell auf eigener Hardware. Es besteht keine Geschäftsbeziehung zu den genannten Modellanbietern oder zu OpenRouter; alle Kosten sind selbst getragen. Die Ergebnisse sind eine Momentaufnahme — Versionen und Preise ändern sich im Wochenrhythmus, die Tabellen sind keine dauerhafte Rangliste. Wie schnell: Bei einem Modell der ersten Tabelle war der Preis je eingegebener Million Token binnen neun Tagen von 0,60 auf 0,30 US-Dollar gefallen. Die dort genannten Kosten bleiben trotzdem stehen — sie sind die tatsächlich am 7. August bezahlten Beträge.
Interessenkonflikt: Dieser Artikel wurde mit KI-Unterstützung durch Claude recherchiert und geschrieben — und Claude-Modelle sind selbst Teil des Testfelds. Claude Opus 5 und Claude Opus 4.6 schnitten fehlerfrei ab und waren zugleich die teuersten Modelle ihrer jeweiligen Runde; Claude Sonnet 5 machte als einziges Spitzenmodell einen inhaltlichen Fehler. Alle Ergebnisse stehen unverändert in den Tabellen. Fakten und Quellen wurden geprüft, die redaktionelle Verantwortung liegt bei Marco Fuhrmann.
Korrektur vom 16.08.2026: In der ursprünglichen Fassung stand, sieben Modelle hätten die volle Punktzahl erreicht. Richtig sind acht — die Angabe widersprach der Tabelle im selben Artikel. Korrigiert im Zuge des Nachtrags; die Tabellenwerte selbst waren davon nicht betroffen.
Angaben ohne Gewähr. Preise und Modellverfügbarkeit können sich jederzeit ändern.