Im Juni haben wir 42 Modelle über die API verglichen. Diesmal drehen wir die Messachse: dieselben vier Verkehrsdaten-Fragen, aber gestellt über die Abo-CLIs (Claude Code, Codex, Gemini CLI) — jedes Top-Modell in mehreren Effort-Stufen, jede Frage in einer frischen, kontextfreien Console. Dazu Nativ-Gegenproben gegen OpenRouter und Drift-Kontrollen gegen den Juni-Stand. Ergebnis: Das Ranking der Modelle ist die halbe Wahrheit — Zugangsweg und Effort-Stufe schreiben mit.
Was diesmal anders gemessen wurde
Der Juni-Vergleich stellte alle Modelle unter identischen API-Bedingungen nebeneinander. Aber so nutzt kaum jemand diese Modelle: Wer ein Claude-, ChatGPT- oder Gemini-Abo hat, arbeitet über die zugehörigen Kommandozeilen-Agenten — und die bringen eigene System-Prompts, eigene Defaults und eigene Vorstellungen davon mit, wie lang eine Antwort sein darf. Zusätzlich bieten die CLIs Effort-Stufen an (wie viel das Modell vor der Antwort „nachdenken" darf), deren Nutzen selten gemessen wird.
Deshalb diesmal drei Messachsen in einem Feld von 32 Kandidaten, bewertet in einem einzigen Judge-Lauf:
- Effort-Leitern: Claude Fable 5, Opus 4.8 und Sonnet jeweils auf den Stufen medium → high → xhigh → max (Claude Code); gpt-5.6-terra auf medium → high → xhigh (Codex).
- Zugangswege: dasselbe Modell über CLI, über OpenRouter und teils nativ über die Hersteller-API.
- Kontrollen: zwei Original-Antwortsätze aus dem Juni als Anker plus drei alte Modelle frisch nachgemessen.
Der Aufbau blieb bewusst identisch zum Juni (Details in Teil 3): dieselben vier Fragen, per Hash verifiziert dieselben Pattern-Quellen, derselbe anonymisierende LLM-as-Judge mit fünf Bewertungsdimensionen. Neu ist nur die Ausführungsseite: Jede CLI-Frage lief als eigener Prozess in einem frisch angelegten, leeren Arbeitsverzeichnis — keine Konfigurationsdateien, kein Git-Kontext, keine Session-Historie, die hineinfunken könnten.
Ergebnis 1: Die Effort-Leiter ist oben flach — und unten steil
Die auffälligste Zahl zuerst: Claude Fable 5 führt das Feld auf jeder Effort-Stufe an — selbst die niedrigste getestete Stufe schlug alle Nicht-Claude-Kandidaten. Aber innerhalb der Leiter passiert fast nichts:
| Stufe | Fable 5 Score | ⌀ Latenz | Sonnet Score | ⌀ Latenz |
|---|---|---|---|---|
| medium | 23,50 | 11 s | 20,75 | 9 s |
| high | 23,50 | 15 s | 21,00 | 12 s |
| xhigh | 23,75 | 20 s | 21,25 | 17 s |
| max | 23,75 | 32 s | 22,50 | 45 s |
Beim Top-Modell liegen alle vier Stufen innerhalb der Signifikanzschwelle von 0,5 Punkten (siehe Teil 3, n=4 Fragen) — die Leiter kauft dort nur Latenz, keine Qualität. Beim kleineren Sonnet dagegen hebt die max-Stufe das Ergebnis um +1,75 Punkte, deutlich über die Rauschgrenze. Die Faustregel, die sich daraus ergibt: Effort wirkt nur unterhalb des Qualitätsdeckels. Ein Modell, das eine Aufgabe schon auf medium fehlerfrei löst, denkt auf max nur teurer, nicht besser. Interessant auch der Sonderfall Codex: Dort kam der Effort-Override nachweislich an (die CLI bestätigt die Stufe im Log), aber weder Latenz (konstant ~6 s) noch Score bewegten sich — das Modell entschied schlicht selbst, dass diese Aufgabe kein tiefes Nachdenken braucht.
Ergebnis 2: Der Harness schreibt mit — bei OpenAI mehr als bei Anthropic
Der methodisch sauberste Vergleich der Messung: dasselbe Modell auf mehreren Zugangswegen. Für gpt-5.6-terra (das Modell hinter Codex) und Claude Opus 4.8 haben wir alle verfügbaren Wege nebeneinandergelegt:
| Modell | Zugangsweg | Score |
|---|---|---|
| gpt-5.6-terra | nativ (OpenAI-API) | 19,75 |
| OpenRouter | 19,50 | |
| Codex-CLI | 18,25–19,25 | |
| Claude Opus 4.8 | API (Juni-Anker) | 19,75 |
| Claude-Code-CLI (medium) | 20,00 |
Bei OpenAI kostet der CLI-Harness rund einen Punkt: Die Codex-Antworten waren faktisch korrekt, aber merklich knapper — keine Datenbasis-Angaben, weniger Pattern-Abdeckung, und genau dafür zieht der Judge Vollständigkeitspunkte ab. Bei Anthropic ist der Harness-Effekt praktisch null (Differenz 0,25, tief im Rauschen). Die Konsequenz für die Praxis: Wer Modelle vergleicht, ohne den Zugangsweg festzuhalten, vergleicht möglicherweise Harness-Politiken statt Modelle.
Die Nativ-Gegenprobe lieferte nebenbei zwei stille Funde: Die native OpenAI-API verlangt inzwischen max_completion_tokens statt max_tokens und lehnt bei Reasoning-Modellen jede temperature außer dem Standardwert ab — OpenRouter übersetzt bzw. schluckt beides kommentarlos. Qualitativ war OpenRouter in unserem Test trotzdem neutral (Differenzen ≤ 0,5 zur nativen API). Bequemlichkeit ohne messbaren Schaden — aber man weiß eben nie exakt, welche Parameter beim Backend ankommen.
Ergebnis 3: Der Judge bewertet relativ — Anker sind Pflicht
Der unbequemste Befund betrifft die Messmethode selbst. Wir haben die identischen Antworttexte zweier Juni-Kandidaten (Opus 4.8, Sonnet 4.6) unverändert in das neue, größere Feld gelegt. Ergebnis: Ihre Scores sanken um 0,75 bzw. 2,75 Punkte — ohne dass sich ein Zeichen geändert hätte. Ein LLM-Judge vergibt keine absoluten Noten; er benotet relativ zu dem, was er daneben sieht. In einem Feld voller ausführlicher Claude-Antworten wirkt eine solide knappe Antwort plötzlich „unvollständig".
Das erklärt auch den scheinbaren Absturz unseres Juni-Preis-Siegers: Nemotron Super 120B fiel von 22,00 auf 18,25. Die Stichprobe der Antworttexte zeigt aber: Die heutigen Antworten sind den Juni-Antworten inhaltlich fast gleichwertig — eingebrochen ist fast ausschließlich die Vollständigkeits-Dimension, also genau die feldrelative Größe. Ob zusätzlich echtes Provider-Drift im Spiel ist, lässt sich bei vier Fragen nicht trennen. Die Lehre ist dieselbe wie in Teil 4, nur eine Ebene höher: Erst das Setup verstehen, dann die Zahl glauben. Scores aus verschiedenen Judge-Läufen gehören nie in dieselbe Tabelle — es sei denn, Anker-Antworten machen die Verschiebung sichtbar.
Der Günstig-Check: Preis kauft hier keine Qualität
Weil die Frage nach den „billigen" Modellen im Juni die meisten Zuschriften brachte, diesmal ein eigener Blick auf OpenAIs Preisspanne[1]:
| Modell | Preis in/out je 1 Mio. Tokens | Score |
|---|---|---|
| gpt-5.6-terra (Referenz) | 2,50 $ / 15,00 $ | 19,50 |
| gpt-5.6-luna | 1,00 $ / 6,00 $ | 20,00 |
| gpt-5.4-mini | 0,75 $ / 4,50 $ | 19,25 |
| gpt-5.4-nano | 0,20 $ / 1,25 $ | 17,50 |
Zwischen 0,75 $ und Premium-Preisklasse liegt bei dieser strukturierten RAG-Aufgabe weniger als ein Punkt — erst ganz unten (nano) bricht die Qualität ab. Wer Pattern-basierte, gut vorstrukturierte Aufgaben baut, kann bei OpenAI getrost zwei Preisklassen tiefer einkaufen. Das deckt sich mit dem Juni-Befund, dass die Aufgabenstruktur mehr Qualität sichert als das Preisschild.
Was hängen bleibt
- Modellwahl ist auch Zugangsweg-Wahl. CLI-Harness, Aggregator oder native API können mehr Unterschied machen als eine Modellgeneration.
- Effort-Stufen bewusst einsetzen: beim Top-Modell für Routineaufgaben runterschalten (gleiche Qualität, ein Drittel der Latenz), beim kleineren Modell für schwere Aufgaben hochschalten.
- Benchmarks über Zeiträume brauchen Anker. Sonst misst man die Stimmung des Judges im jeweiligen Feld, nicht die Modelle.
- Alte Artefakte prüfen lohnt sich: Zwei „Kellerkinder" des Juni-Rankings (GPT-5-Pro, Gemini 2.5 Pro) lieferten mit ausreichendem Token-Budget diesmal vollwertige Mittelfeld-Ergebnisse — ihre Juni-Werte waren Konfigurationsartefakte, wie in Teil 4 vermutet.
Im nächsten Teil drehen wir den Spieß um: Du misst selbst. Der komplette Test-Harness — die vier Fragen, die Pattern-Quellen, die Runner-Skripte und der Judge — ist so gebaut, dass er mit einem eigenen API-Schlüssel für unter drei Euro nachlaufbar ist. Teil 7 wird die Schritt-für-Schritt-Anleitung dazu.
Quellenverzeichnis
- OpenRouter-Modellkatalog mit Preisangaben, openrouter.ai/models (abgerufen 22.07.2026; entnommen: Preise je 1 Mio. Input-/Output-Tokens für gpt-5.6-terra, gpt-5.6-luna, gpt-5.4-mini, gpt-5.4-nano).
- Zheng et al. (2023): „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena", arXiv:2306.05685 (methodische Grundlage des LLM-as-Judge-Verfahrens).
- Alle Scores, Latenzen und Antworttexte stammen aus unseren eigenen Messläufen vom 22.07.2026 (32 Kandidaten, ein Judge-Lauf, Judge: Claude Sonnet 4.6, anonymisiert). Methodik und Limitationen: Teil 3 dieser Serie.
Transparenzhinweis: Diese Messung entstand aus eigenem Antrieb und wurde vollständig selbst finanziert (API-Kosten im einstelligen Euro-Bereich, Abo-Kosten der genannten CLI-Dienste trägt der Autor privat). Es besteht keine Kooperation, Bezahlung oder Partnerschaft mit einem der genannten Anbieter. Preise und Verfügbarkeiten können sich ändern; Angaben ohne Gewähr. Bei vier Testfragen sind Score-Unterschiede unter 0,5 Punkten nicht belastbar — das vollständige Limitationskapitel steht in Teil 3. Der Artikel wurde mit KI-Unterstützung (Claude) recherchiert und geschrieben; Fakten und Zahlen stammen aus unseren eigenen instrumentierten Testläufen, die redaktionelle Verantwortung liegt bei Marco Fuhrmann.