Teil 3 öffnet die Black Box: Wie kommen die fünf Daten-Schnipsel pro Frage zustande? Welche 57,5 Millionen Messungen stecken dahinter? Welche vier Fragen wurden gestellt — und welche exakten Quellen sah jedes Modell? Und wie wurde bewertet? Hier stehen die Pipeline, die Rohdaten der vier Fragen und die ehrlichen Grenzen des Tests.
Dies ist der dritte Teil unserer Serie. Teil 1 lieferte die Erkenntnisse, Teil 2 das vollständige Ranking. Hier geht es um das Fundament: Methodik und Daten. Wer einen Benchmark ernst nehmen soll, muss nachvollziehen können, wie gemessen wurde.
Die Pipeline: von der Frage zur Antwort
Pattern-RAG arbeitet in zwei Schritten. Erst wird gesucht (Retrieval), dann formuliert (Generation). Nur den zweiten Schritt — die Formulierung — haben wir über 42 Modelle variiert. Der Retrieval-Teil war für alle identisch.
Schritt 1: Hybrid-Retrieval
Statt sich auf ein einzelnes Suchverfahren zu verlassen, kombiniert die Pipeline drei:
- BGE-M3 Embedding (1024 Dimensionen, mehrsprachig) — semantische Ähnlichkeit. Findet Patterns, die sinngemäß zur Frage passen, auch ohne Wortgleichheit.
- BM25 (lexikalische Sparse-Suche) — klassische Stichwort-Treffer. Findet exakte Begriffe wie Autobahn-Nummern oder Ortsnamen.
- Tag-Boost-Heuristik — hebt Patterns mit passenden Metadaten (Wochentag, Tageszeit) an.
Die drei Trefferlisten werden per Reciprocal Rank Fusion (RRF, k=60) zu einer Rangfolge verschmolzen. Die fünf besten Patterns gehen als Kontext an das Sprachmodell. Dieser Hybrid-Ansatz ist robuster als reine Vektorsuche: Semantik und Stichworte fangen unterschiedliche Trefferarten ab.
Schritt 2: Generation
Hier setzten die 42 Modelle an. Jedes bekam denselben System-Prompt, dieselben fünf Patterns und denselben Auftrag: „Formuliere die Antwort auf Basis der Patterns.“ Die Testparameter:
| Parameter | Wert |
|---|---|
| Getestete Modelle | 42 (31 Cloud, 11 lokal) |
| Fragen | 4 (aus einem Iron-Butt-Tourenset) |
| Antworten gesamt | 168 |
| Patterns pro Frage | Top-5 nach RRF |
| max_tokens | 500 (bzw. Anbieter-Default bei Reasoning-Modellen) |
| temperature | 0,3 |
Die Datenbasis
Die Patterns sind keine Schätzungen, sondern verdichtete Realität:
| Quelle | Umfang |
|---|---|
| BASt-Verkehrsmessungen (2023–2025) | 57,5 Mio. Stundenwerte |
| ERA5-Wetterstundenwerte | 34,3 Mio. (97 % Grid-Abdeckung) |
| Basis-Muster (Baseline-Patterns) | ~461.000 |
| Verdichtete Pattern-Sätze (Vektor-DB) | 10.556 |
Die Bundesanstalt für Straßenwesen betreibt automatische Dauerzählstellen an deutschen Autobahnen und Bundesstraßen. Aus ihren offenen Daten haben wir je Strecke, Wochentag und Tageszeit Faustregeln verdichtet — etwa „A8 Samstag nachts: durchschnittlich 1.105 Fahrzeuge pro Stunde“. Genau diese Sätze landen als Patterns in der Vektordatenbank.
Die vier Testfragen — mit allen Quellen
Jetzt der Kern: die exakten Eingaben, die alle 42 Modelle gesehen haben. Pro Frage die fünf abgerufenen Patterns mit Relevanz-Score und den wichtigsten Kennzahlen. So lässt sich jede Modell-Antwort gegen die Quelle prüfen.
Frage 1 — A8 München–Stuttgart, Samstag 22 Uhr
„Wie ist die A8 zwischen München und Stuttgart Samstag um 22 Uhr typischerweise unterwegs?“
| # | Score | Strecke / Zeitfenster | Ø Fz/h | Motorrad | LKW |
|---|---|---|---|---|---|
| 1 | 0,678 | A8 · So 15–20 Uhr (stark) | 3.802 | 0,4 % | 1,3 % |
| 2 | 0,670 | A8 · Sa 15–20 Uhr (stark) | 3.329 | 0,5 % | 2,9 % |
| 3 | 0,668 | A8 · Sa 20–05 Uhr (ruhig) | 1.105 | 0,3 % | 10,2 % |
| 4 | 0,668 | A8 · Sa 10–15 Uhr (stark) | 4.220 | 0,5 % | 3,8 % |
| 5 | 0,663 | A8 · Sa 05–10 Uhr (moderat) | 2.331 | 0,3 % | 10,1 % |
Die korrekte Antwort liegt in Pattern 3: Samstag 22 Uhr fällt ins Nachtfenster (20–05 Uhr) mit nur 1.105 Fahrzeugen pro Stunde — verkehrsarm, aber mit erhöhtem LKW-Anteil. Wer die Frage gut beantwortet, greift Pattern 3 heraus und kontrastiert es mit den Tageswerten.
Frage 2 (#3) — A5 Karlsruhe–Frankfurter Kreuz, ruhigste Zeit
„Wann ist die A5 zwischen Karlsruhe und dem Frankfurter Kreuz am ruhigsten — Sonntag 02 Uhr früh?“
| # | Score | Strecke / Zeitfenster | Ø Fz/h | Motorrad | LKW |
|---|---|---|---|---|---|
| 1 | 0,668 | A5 · So 15–20 Uhr (sehr stark) | 5.464 | 0,3 % | 1,2 % |
| 2 | 0,652 | A5 · So 10–15 Uhr (sehr stark) | 5.497 | 0,4 % | 1,1 % |
| 3 | 0,651 | A5 · Sa 15–20 Uhr (stark) | 4.676 | 0,3 % | 2,2 % |
| 4 | 0,645 | A5 · So 05–10 Uhr (moderat) | 1.716 | 0,3 % | 2,5 % |
| 5 | 0,643 | A5 · Mo 15–20 Uhr (sehr stark) | 5.083 | 0,3 % | 7,7 % |
Knifflig: Die Frage zielt auf „Sonntag 02 Uhr“, aber kein Pattern deckt das Nachtfenster der A5 direkt ab. Der niedrigste verfügbare Wert ist Sonntagmorgen (1.716 Fz/h). Hier zeigt sich die Dimension Ehrlichkeit: Ein gutes Modell erkennt die Lücke an, statt eine Nachtzahl zu erfinden.
Frage 3 (#12) — A9 Nürnberg–München, Sonntag-Rückreise-Welle
„Wann beginnt typischerweise die Sonntag-Rückreise-Welle auf der A9 zwischen Nürnberg und München?“
| # | Score | Strecke / Zeitfenster | Ø Fz/h | Motorrad | LKW |
|---|---|---|---|---|---|
| 1 | 0,686 | A9 · So 15–20 Uhr (stark) | 4.840 | 0,5 % | 2,1 % |
| 2 | 0,636 | A9 · Fr 15–20 Uhr (sehr stark) | 5.080 | 0,4 % | 9,2 % |
| 3 | 0,633 | A99 Münchner Ring · So 15–20 Uhr | 5.270 | 0,4 % | 1,6 % |
| 4 | 0,631 | A9 · Sa 15–20 Uhr (stark) | 3.761 | 0,5 % | 4,7 % |
| 5 | 0,627 | A9 · Mo 15–20 Uhr (stark) | 4.006 | 0,4 % | 15,4 % |
Pattern 1 ist der Volltreffer: Sonntag 15–20 Uhr, 4.840 Fz/h, ausdrücklich als „klassische Rückreise-Welle“ markiert. Pattern 3 streut allerdings die A99 (Münchner Ring) ein — ein verwandter, aber anderer Streckenabschnitt. Wer hier sauber arbeitet, trennt A9 von A99.
Frage 4 (#14) — Iron-Butt-Nachtstart: Freitag oder Samstag?
„Was wäre besser für die Iron-Butt-Tour: Nachtstart Freitag 21 Uhr oder Samstag 21 Uhr?“
| # | Score | Strecke / Zeitfenster | Ø Fz/h | Motorrad | LKW |
|---|---|---|---|---|---|
| 1 | 0,512 | B21 · Fr 20–05 Uhr (ruhig) | 118 | 0,6 % | 13,0 % |
| 2 | 0,509 | B21 · Sa 20–05 Uhr (ruhig) | 106 | 0,6 % | 6,8 % |
| 3 | 0,495 | A21 · Sa 20–05 Uhr (leer) | 353 | 0,2 % | 17,0 % |
| 4 | 0,493 | B21 · Fr 05–10 Uhr (moderat) | 505 | 0,8 % | 18,2 % |
| 5 | 0,492 | B21 · Do 20–05 Uhr (ruhig) | 102 | 0,5 % | 14,1 % |
Die niedrigsten Relevanz-Scores aller vier Fragen (rund 0,5) — ein Hinweis, dass die Pattern-Basis diese Vergleichsfrage nur schwach abdeckt. Inhaltlich liefern Pattern 1 und 2 die Antwort: Freitagnacht (118 Fz/h, aber 13 % LKW) vs. Samstagnacht (106 Fz/h, nur 6,8 % LKW). Samstag ist minimal ruhiger und deutlich LKW-ärmer. Ein gutes Modell wägt beide Werte ab, statt nur die Fahrzeugzahl zu vergleichen.
Die Bewertung: LLM-as-Judge
Sprachqualität maschinell zu bewerten ist heikel. Klassische Metriken (BLEU, ROUGE) messen Wortüberlappung, nicht Sinn. Seit 2024 hat sich das LLM-as-Judge-Verfahren etabliert: Ein starkes Modell beurteilt die Antworten der anderen. Wir folgen der Methodik von Zheng et al. (2023, „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena“) mit zwei Verschärfungen:
- Anonymisierung: Die Modelle hießen für den Judge nur M01 bis M42, pro Frage neu randomisiert — gegen Selbstbevorzugung.
- Mehrdimensionale Bewertung: Statt einer einzigen Qualitätsnote fünf getrennte Dimensionen.
| Parameter | Wert |
|---|---|
| Judge-Modell | Claude Sonnet 4.6 |
| Stichprobe | 42 Modelle × 4 Fragen = 168 Antworten |
| Design | Within-Subjects (jedes Modell beantwortet alle Fragen) |
| Skala | 5 Dimensionen, je 1–5 (Likert) |
| Aggregation | Mittel pro Dimension, Summe als Gesamt-Score (max. 25) |
Was die fünf Dimensionen genau messen
| Dimension | Operationale Definition |
|---|---|
| Faktentreue | Stimmen die genannten Zahlen mit den Patterns überein? Erfundene Werte → Abzug. |
| Empfehlung | Konkrete Handlungsanweisung (Zeit, Strecke, Tempo)? Vage Aussagen → Abzug. |
| Vollständigkeit | Werden mehrere Patterns einbezogen oder nur eines? |
| Klarheit | Satzbau, Grammatik, Lesbarkeit, Struktur. |
| Ehrlichkeit | Wird eine Daten-Lücke offen benannt, statt sie zu überspielen? |
Sekundäre Beobachtungen
- Faktentreue ist gesättigt: 35 von 42 Modellen erreichten ≥ 4,5. Moderne Modelle halten sich an die Quellen — die Differenzierung läuft über andere Dimensionen.
- Vollständigkeit diskriminiert am stärksten: Spannweite 1,75–5,0 — die größte Varianz aller Dimensionen.
- Größe ≠ Qualität: Kein klarer Zusammenhang zwischen Parameterzahl und Score. Kompakte MoE-Modelle schlugen 405B- und 671B-Riesen.
- Reasoning-Modus bringt wenig: Chain-of-Thought verbesserte den Schnitt nur marginal (~0,5 Punkte) — bei massiv höherer Latenz (+200 % bis +1.500 %).
Ehrliche Limitationen
Ein Benchmark ohne Fehlerdiskussion ist Marketing. Diese sechs Punkte schränken die Aussagekraft ein:
- Einzel-Judge: Nur ein bewertendes Modell. Ein Judge-Ensemble würde Inter-Rater-Reliabilität ermöglichen.
- Kleine Stichprobe: Vier Fragen trennen grobe Klassen, aber keine Ränge mit 0,25-Punkte-Abstand.
- Enge Domäne: Gilt für deutschsprachige, quellengestützte Routenauskunft — nicht für Coding oder freies Reasoning.
- Judge-Bias: Der Judge stammt aus derselben Modellfamilie wie die Spitzenreiter. Anonymisierung dämpft das, schließt es aber nicht aus.
- Reasoning-Asymmetrie: Manche Modelle liefen mit Chain-of-Thought, andere ohne — nur bedingt fair vergleichbar.
- Quantisierungs-Varianz: Lokale Modelle liefen komprimiert (Q4), Cloud-Modelle in voller Präzision. Der Direktvergleich in Teil 2 zeigt, wie stark Bereitstellungs-Effekte das Ergebnis verzerren können.
Hardware & Stack
| Komponente | Umsetzung |
|---|---|
| Lokale GPU-Inferenz | Ugreen-NAS mit Intel-Arc-GPU, llama.cpp (SYCL-Build), Q4_K_M-Quantisierung |
| Lokale Metal-Inferenz | Apple-Silicon-Mac, Ollama mit Metal-Backend (GGUF) |
| Cloud-Routing | Multi-Provider-Gateway + Direktzugang zu einzelnen Anbietern |
| Embedding | BGE-M3 (1024-dim, mehrsprachig) |
| Vektor-DB | Qdrant (Cosine), 10.556 Pattern-Sätze |
| Lexikalische Suche | SQLite FTS5 (BM25) |
Was bleibt
Drei Dinge nehmen wir aus dem Test mit. Erstens: Die Datengrundlage entscheidet — ein gutes RAG-Setup macht selbst kleine Modelle brauchbar. Zweitens: Die Qualitätsunterschiede an der Spitze sind klein und teils Messrauschen; die ehrlichere Geschichte ist, wie weit lokale Modelle gekommen sind. Drittens: Ein Benchmark misst immer auch sich selbst — Format-Ausfälle bei Premium-Modellen und die Cloud-Anomalie sind Mahnung genug, Zahlen nie ungeprüft zu glauben.
Transparenzhinweis: Dieser Vergleich entstand aus eigenem Antrieb und wurde vollständig selbst finanziert. Es besteht keine Kooperation, Bezahlung oder Partnerschaft mit einem der genannten Anbieter. Verkehrsdaten der BASt und Wetterdaten (ERA5) sind offene Datenquellen. Alle Kennzahlen stammen aus unserem eigenen Testlauf vom Juni 2026. Der Artikel wurde mit KI-Unterstützung (Claude) recherchiert und geschrieben; Fakten und Zahlen stammen aus unseren eigenen Testläufen, die redaktionelle Verantwortung liegt bei Marco Fuhrmann.