Wir haben 42 KI-Modelle dieselbe Aufgabe lösen lassen: eine Motorrad-Routenfrage beantworten, auf Basis identischer Daten-Schnipsel aus 57,5 Millionen echten Verkehrsmessungen. 168 Antworten, anonym bewertet. Das Ergebnis überrascht in zwei Richtungen: Teuer ist nicht automatisch besser — und ein Modell auf unserer eigenen Hardware landet auf Augenhöhe mit der Cloud-Spitze. Hier ist, was 42 Modelle im direkten Vergleich verraten.
Das Experiment: gleiche Zutaten, 42 Köche
Stell dir vor, du gibst 42 Köchen dieselben Zutaten und dasselbe Rezept. Manche sind Sterneköche aus den großen Cloud-Rechenzentren, andere kochen in der eigenen Küche zu Hause. Wer macht das beste Gericht? Genau diese Frage haben wir für KI-Sprachmodelle gestellt.
Die „Zutaten“ sind bei uns echte Verkehrsdaten. Wir betreiben eine selbstgebaute Auskunfts-KI, die typische Tourenplanungs-Fragen beantwortet — etwa: „Wie ist die A8 zwischen München und Stuttgart Samstag um 22 Uhr unterwegs?“ Die Antwort stützt sich auf einen Datenbestand aus 57,5 Millionen Verkehrsmessungen der Bundesanstalt für Straßenwesen (2023–2025), ergänzt um 34 Millionen Wetter-Stundenwerte.
Die spannende Frage: Welches KI-Modell verwandelt diese Rohdaten am besten in eine brauchbare, ehrliche Antwort?
Wie der Test funktioniert
Das Verfahren heißt Pattern-RAG (Retrieval-Augmented Generation). Vereinfacht: Bevor ein Modell antwortet, sucht die Pipeline die fünf relevantesten Daten-Schnipsel zur Frage heraus und reicht sie dem Modell mit. Das Modell soll seine Antwort ausschließlich auf diese Quellen stützen — das hält es ehrlich und reduziert frei erfundene Zahlen.
Damit der Vergleich fair ist, bekam jedes der 42 Modelle exakt dieselben Eingaben:
| Parameter | Wert |
|---|---|
| Getestete Modelle | 42 (31 Cloud, 11 lokal) |
| Fragen | 4 typische Tourenplanungs-Fragen |
| Antworten gesamt | 168 |
| System-Prompt | Identisch für alle |
| Daten-Schnipsel pro Frage | Top-5 (Hybrid-Suche) |
| Temperature | 0,3 |
Bewertet wurde nach dem etablierten LLM-as-Judge-Verfahren: Ein starkes Modell beurteilt die Antworten der anderen — anonymisiert (die Modelle hießen nur M01 bis M42) und in fünf Dimensionen: Faktentreue, Empfehlungsqualität, Vollständigkeit, Klarheit und Ehrlichkeit. Maximal 25 Punkte.
Die Rangliste
Die Top 10 von 42 Modellen:
| # | Modell | Gesamtnote | Score /25 | Preis (Input) |
|---|---|---|---|---|
| 🥇 | Claude Opus 4.7 | 23,5 | 5,00 $/M | |
| 🥈 | Claude Sonnet 4.6 | 23,25 | 3,00 $/M | |
| 🥉 | Claude Opus 4.8 | 22,5 | 5,00 $/M | |
| 4 | Claude Sonnet 4.5 | 22,25 | 3,00 $/M | |
| 5 | Claude Haiku 4.5 | 22,0 | 1,00 $/M | |
| 6 | GPT-5.4 | 22,0 | 2,50 $/M | |
| 7 | Nemotron Super 120B | 22,0 | 0,09 $/M | |
| 8 | Qwen3.5-35B (lokal) | 22,0 | lokal / 0 $ | |
| 9 | OpenAI o3-Pro | 21,75 | 20,00 $/M | |
| 10 | DeepSeek V3.5 (671B) | 21,75 | 0,27 $/M |
Die Gesamtnote rechnet den Σ-Score (max. 25) auf eine 5-Sterne-Skala um. Die Aufschlüsselung pro Dimension steht in Teil 2.
Drei Erkenntnisse, die wir nicht erwartet hatten
1. Teuer ist nicht besser
Das mit Abstand teuerste Modell im Test — OpenAI o3-Pro für 20 $ pro Million Tokens — landete nur auf Platz 9. Mistral Medium 3.1 für 0,40 $ erreichte praktisch dieselbe Qualität (21,5 Punkte), rund 50× günstiger. Über alle 42 Modelle hinweg gab es keinen klaren Zusammenhang zwischen Parameterzahl, Preis und Bewertung. Gut gebaute, kompakte Modelle (etwa Mixture-of-Experts-Architekturen) schlugen wiederholt größere und teurere Konkurrenten.
2. Unsere lokale Lösung spielt vorne mit
Das für uns wichtigste Ergebnis: Ein lokal laufendes Modell namens Qwen3.5-35B-A3B erreichte 22,0 von 25 Punkten — Platz 8, gleichauf mit Claude Haiku 4.5 und GPT-5.4. Kein Cloud-Anbieter, keine API-Kosten pro Anfrage, kein Datenabfluss nach außen.
„Lokal“ heißt hier: auf ganz normaler Hardware, wie sie auf einem Schreibtisch steht. Wir haben dasselbe Modell auf zwei Alltagsgeräten laufen lassen — einem Mac mini mit Apple M2 Pro und einem kompakten Mini-PC mit modernem Intel-Chip (Core Ultra mit eingebauter Arc-Grafik, im Gehäuse eines Ugreen-NAS). Auf beiden lief es flüssig; in die Wertung ging der Lauf auf dem Intel-Gerät ein, der Mac mini lieferte mit demselben Modell Antworten gleicher Güte. Kein Rechenzentrum, keine Cloud, keine Grafikkarte für 10.000 Euro.
Dass ein Modell mit 35 Milliarden Parametern überhaupt auf so einem Gerät läuft, klingt erst einmal unmöglich — ist aber kein Zaubertrick, sondern steckt im Namen. Das „A3B“ steht für active 3 billion: Qwen3.5-35B-A3B ist ein Mixture-of-Experts-Modell. Von den 35 Milliarden Parametern sind pro Wort nur rund 3 Milliarden aktiv — das Modell schlägt intern bei jeder Anfrage nur die jeweils passenden „Experten“ nach. Es ist also groß im Wissen, aber schlank im Rechenaufwand. Genau deshalb passt es auf Hardware, die man sich hinstellen kann, statt mietet.
Für datensensible Anwendungen ist das lokale Setup damit produktionsreif: Die Antwortqualität reicht an die Cloud-Spitze heran, während Daten und Kosten vollständig im Haus bleiben. (Den direkten Zahlenvergleich derselben Modellfamilie lokal vs. Cloud — inklusive einer aufschlussreichen Messanomalie — sezieren wir in Teil 2.)
3. Faktentreue ist „gelöst“ — die Unterschiede liegen woanders
35 der 42 Modelle erreichten bei der Faktentreue Spitzenwerte. Heißt: Moderne Modelle halten sich gut an die gelieferten Quellen und erfinden kaum noch Zahlen. Die echte Differenzierung passierte bei der Vollständigkeit — bezieht ein Modell mehrere Datenquellen ein oder klammert es sich an eine einzige? Hier reichte die Spanne von schwach bis exzellent. Das ist der Punkt, an dem sich gute von durchschnittlichen Antworten trennen.
Was das in Euro bedeutet
Für eine Anwendung mit 10.000 Anfragen pro Monat ergeben sich grob diese Größenordnungen:
| Strategie | Kosten/Monat | Qualität | Hauptrisiko |
|---|---|---|---|
| Cloud-Spitze (Claude Sonnet 4.6) | ~200 $ | 23,25 | Datenabfluss, Anbieter-Bindung |
| Cloud günstig (Mistral Medium 3.1) | ~26 $ | 21,5 | EU-Anbieter, geringes Risiko |
| Lokal (Qwen3.5-35B) | ~15 $ Strom | 22,0 | Hardware-Wartung |
| Hybrid (70 % lokal, 30 % Cloud) | ~60 $ | ~22,5 | Beste Balance |
Daraus leitet sich unsere Architektur ab: ein dreistufiges Routing. Sensible Daten und Standard-Anfragen laufen über das lokale Modell, nur komplexe Spezialfälle gehen an ein Cloud-Spitzenmodell. Quality bleibt bei 22+, die Kosten bleiben niedrig — und die Datenhoheit liegt im Haus.
Ehrlichkeit gehört dazu: die Grenzen des Tests
Ein sauberer Vergleich nennt seine Schwächen. Drei davon sind uns wichtig:
- Judge-Bias: Bewertet wurde von einem Claude-Modell — und Claude-Modelle belegten die ersten fünf Plätze. Wir haben die Modellnamen anonymisiert, um Selbstbevorzugung zu dämpfen, aber ein stilistischer Heim-Vorteil lässt sich nicht völlig ausschließen. Diese Einschränkung gehört offen auf den Tisch.
- Kleine Stichprobe: Vier Fragen reichen, um grobe Klassen zu trennen — aber nicht, um zwischen Platz 1 und Platz 4 (ein halber Punkt Abstand) belastbar zu unterscheiden.
- Enge Domäne: Die Ergebnisse gelten für deutschsprachige, quellengestützte Routenauskunft. Auf andere Aufgaben (Programmieren, freies Schlussfolgern) lassen sie sich nicht eins zu eins übertragen.
Die Kernaussage trägt trotzdem: Für quellengestützte Auskunfts-Anwendungen muss man heute weder das teuerste Modell kaufen noch seine Daten zwingend aus der Hand geben. Eine durchdachte lokale Lösung steht der Cloud-Spitze kaum nach.
Transparenzhinweis: Dieser Vergleich entstand aus eigenem Antrieb und wurde vollständig selbst finanziert. Es besteht keine Kooperation, Bezahlung oder Partnerschaft mit einem der genannten Anbieter (Anthropic, OpenAI, Mistral, NVIDIA, DeepSeek u. a.). Cloud-Zugänge und Hardware wurden selbst bezahlt. Die genannten Zahlen stammen aus unserem eigenen Testlauf vom Juni 2026. Der Artikel wurde mit KI-Unterstützung (Claude) recherchiert und geschrieben; Fakten und Zahlen stammen aus unseren eigenen Testläufen, die redaktionelle Verantwortung liegt bei Marco Fuhrmann.