42 KI-Modelle, Teil 7: Selbst nachmessen — der 3-Euro-Benchmark zum Mitnehmen

Warum du überhaupt selbst messen solltest

Die Kernlektion aus sechs Teilen dieser Serie: Benchmark-Zahlen hängen am Setup. Token-Budget, Anbieter-Routing, Zugangsweg, Judge-Feld — jede dieser Stellschrauben kann eine Rangliste kippen (Teil 4 und Teil 6 zeigen wie). Die einzige Rangliste, der du wirklich trauen kannst, ist eine, deren Setup du selbst kontrollierst — und die deine Aufgabe misst, nicht die eines Benchmark-Autors. Genau dafür ist dieses Paket gebaut: vier Fragen, drei Skripte, ein Judge, alles inspizierbar.

Was im Paket steckt

Das Paket liegt als Open-Source-Repository auf GitHub^[1] und enthält:

Bestandteil	Datei	Zweck
Testfragen + Quellen	data/questions.json	Die 4 Original-Fragen samt der BASt-Verkehrsdaten-Patterns, auf denen jede Antwort basieren muss — bit-identisch zu allen Messungen dieser Serie
System-Prompt	data/system_prompt.txt	Die Rollen-Anweisung, identisch für alle Modelle
Mess-Skript	scripts/bench_api.py	Stellt jedem Modell die 4 Fragen, protokolliert Antwort, Latenz und Token-Verbrauch
Judge-Skript	scripts/judge.py	Anonymisiert alle Antworten und lässt sie vom Judge-Modell auf 5 Dimensionen bewerten
CLI-Runner (optional)	scripts/bench_cli.py	Für Fortgeschrittene: misst Abo-CLIs wie in Teil 6 (frische Console pro Frage)

Es gibt bewusst keine Blackbox: Jedes Skript ist unter 150 Zeilen Python ohne exotische Abhängigkeiten — nur Standardbibliothek. Was gemessen wird, steht lesbar im Code.

Schritt 0: Was du brauchst

• Ein Terminal (macOS/Linux ab Werk; Windows: WSL empfohlen) und Python 3.10 oder neuer (python3 --version verrät es dir).
• Einen OpenRouter-Account mit API-Schlüssel^[2]: Konto anlegen, 5 $ Guthaben laden, unter „Keys" einen Schlüssel erzeugen. OpenRouter deshalb, weil du damit Modelle von OpenAI, Google, Anthropic, DeepSeek & Co. über eine einzige Schnittstelle erreichst — ein Schlüssel statt fünf Registrierungen.
• Etwa 30 Minuten — die meiste Zeit davon wartest du auf Antworten.

Den Schlüssel legst du als Datei ab, damit er nie in einem Befehl oder einer Historie auftaucht:

echo "sk-or-DEIN-SCHLUESSEL" > ~/.openrouter-key
chmod 600 ~/.openrouter-key

Schritt 1: Messen

Repository holen und den ersten Messlauf starten — die Modell-Namen sind frei wählbar, hier eine gemischte Auswahl von teuer bis günstig:

git clone https://github.com/mvxlabs/benchmarks.git
cd benchmarks/pattern-rag

python3 scripts/bench_api.py \
  anthropic/claude-sonnet-4.6 \
  openai/gpt-5.4-mini \
  google/gemini-3.6-flash \
  deepseek/deepseek-chat

Pro Modell siehst du vier Zeilen durchlaufen — je Frage die Latenz und Antwortlänge. Die Rohdaten landen als JSON in results/, eine Datei pro Modell, mit allem, was du für spätere Audits brauchst: Antworttext, Latenz, Token-Zahlen. Welche Modelle es gibt und was sie kosten, listet der OpenRouter-Katalog^[1] — jeder dort gelistete Name funktioniert im Befehl.

Die wichtigste Stellschraube vorweg (die Lehre aus Teil 4): Das Skript setzt das Token-Budget bewusst auf 2.000, damit Reasoning-Modelle ihre Antwort nicht selbst auffressen. Lass diesen Wert in Ruhe, wenn du nicht genau weißt, warum du ihn änderst.

Schritt 2: Bewerten lassen

python3 scripts/judge.py --via-openrouter results/api__*.json

Der Judge (Claude Sonnet 4.6, dasselbe Modell wie in der ganzen Serie) bekommt alle Antworten anonymisiert vorgelegt — als M01, M02, M03 …, ohne Modellnamen, damit kein Markenbonus in die Bewertung fließt. Bewertet wird auf fünf Dimensionen mit je 1–5 Punkten: Faktentreue, Empfehlungsqualität, Vollständigkeit, Klarheit, Ehrlichkeit (gibt das Modell Lücken zu, statt zu erfinden?). Am Ende druckt das Skript dein Ranking direkt ins Terminal:

Modell                          Score
anthropic/claude-sonnet-4.6     23.25
deepseek/deepseek-chat          20.50
openai/gpt-5.4-mini             19.75
google/gemini-3.6-flash         19.50

Kostenbilanz des kompletten Durchlaufs: rund 1–2 € für die Messläufe, etwa 50 Cent für den Judge.

Schritt 3 (die Kür): Deine eigenen Fragen

Jetzt wird es wirklich nützlich. Öffne data/questions.json — die Struktur ist bewusst simpel: Jede Frage besteht aus dem Fragetext und einer Liste von Quell-Passagen („Patterns"), auf die sich die Antwort stützen muss. Ersetze beides durch dein Fachgebiet: Produktdaten und Kundenfragen, Gesetzestexte und Fallfragen, interne Doku und Support-Tickets. Der Rest der Pipeline bleibt unverändert — und eine halbe Stunde später weißt du, welches Modell deine Aufgabe am besten löst.

Drei Regeln dabei:

• Quellen mitgeben, nicht nur Fragen. Der Benchmark misst quellengestütztes Antworten (RAG), nicht Allgemeinwissen. Ohne beigelegte Passagen bewertet der Judge Konfabulation statt Faktentreue.
• Eigene Fragen = eigener Benchmark. Deine Scores sind mit den Zahlen dieser Serie nicht vergleichbar — nur Modelle innerhalb deines eigenen Laufs untereinander (warum, erklärt Teil 6 am Judge-Feld-Effekt).
• Mehr als vier Fragen sind besser. Wir blieben bei vieren für die Vergleichbarkeit zur Serie; für belastbare eigene Entscheidungen sind 10–20 Fragen der ehrlichere Umfang. Unterschiede unter einem halben Punkt sind bei kleinen Stichproben Rauschen.

Was dieser Benchmark NICHT kann

Volle Transparenz, wie in Teil 3 ausführlich begründet: Ein einzelnes Judge-Modell kann stilistische Vorlieben haben (Anonymisierung mildert das, beseitigt es nicht). OpenRouter routet je nach Auslastung auf unterschiedliche Backend-Anbieter — wer es exakt braucht, pinnt den Anbieter fest (Teil 5 zeigt wie). Und gemessen wird strukturiertes, quellengestütztes Antworten — für Coding, Mathematik oder freies Schreiben sagt dieses Ranking nichts aus. Genau diese Grenzen sind aber der Grund, warum das Selbst-Messen so wertvoll ist: Du kennst dein Setup, deine Fragen, deine Grenzen — bei fremden Ranglisten kennst du keins von dreien.

Für Fortgeschrittene: die CLI-Messung aus Teil 6

Wer die Abo-CLIs (Claude Code, Codex, Gemini CLI) wie in Teil 6 mitmessen will, findet im Paket den CLI-Runner: Er legt für jede Frage ein frisches, leeres Arbeitsverzeichnis an und startet die CLI als eigenen Prozess ohne Session-Historie — so fließt garantiert kein Projektkontext in die Antworten. Die Effort-Stufen und Modell-Varianten stehen als übersichtliche Tabelle am Kopf des Skripts und lassen sich ohne Programmierkenntnisse anpassen. Voraussetzung sind die jeweiligen Abos samt eingerichteter CLIs; die README im Repository führt durch die Details inklusive der Stolperfallen, die wir in Teil 6 dokumentiert haben.

Fazit der Serie — und deine Messung

Sieben Teile, ein roter Faden: Zahlen ohne Setup-Kenntnis sind Dekoration. Jetzt hast du beides in der Hand — das Setup und die Werkzeuge. Wenn du nachmisst und etwas findest, das unseren Ergebnissen widerspricht: her damit. Genau so soll es funktionieren.

Quellenverzeichnis

1. Benchmark-Paket „pattern-rag" im Repository mvxlabs/benchmarks (Skripte, Fragen, Pattern-Quellen, MIT-Lizenz), github.com/mvxlabs/benchmarks — sowie OpenRouter-Modellkatalog mit Preisen: openrouter.ai/models (abgerufen 22.07.2026).
2. OpenRouter — Konto, Guthaben und API-Schlüssel: openrouter.ai/keys (abgerufen 22.07.2026; Guthaben ab 5 $ per Kreditkarte oder PayPal).
3. Datengrundlage der Original-Fragen: Bundesanstalt für Straßenwesen (BASt), automatische Zählstellen, bast.de — aufbereitet wie in Teil 3 beschrieben.