Eigene Stimme lokal klonen — fünf Open-Source-TTS-Modelle auf dem Mac im Härtetest

Warum überhaupt lokal?

Unsere Podcast-Folgen entstehen mit ElevenLabs — das klingt hervorragend, kostet aber pro Zeichen und die Stimmdaten liegen in der Cloud. Drei Gründe sprechen dafür, Voice Cloning zusätzlich lokal zu beherrschen:

• Kosten: Einmal eingerichtet, ist jede weitere Audiominute gratis. Bei einem Podcast fällt das kaum ins Gewicht, bei Hörbuch-Mengen oder App-Integrationen sehr wohl.
• Datenschutz: Die eigene Stimme ist ein biometrisches Merkmal. Lokal verlässt sie den Rechner nie.
• Unabhängigkeit: Preismodelle ändern sich, Dienste verschwinden. Ein lokales Modell läuft weiter.

Die spannende Frage war nie das Ob, sondern das Wie gut. Also haben wir es gemessen.

Die Vorbereitung entscheidet: Referenz und Testtext

Bevor ein einziges Modell lief, haben wir zwei Dinge festgelegt — und beim ersten gleich die wichtigste Lektion des Tages gelernt.

Die Referenzaufnahme

Als Referenz diente eine vorhandene Sprachaufnahme von Marco, aus der ein sauberer 9-Sekunden-Ausschnitt geschnitten wurde (ffmpeg, mono, 24 kHz). Was wir erst hinterher gemerkt haben: Die Quelle war eine alte 16-kHz-Aufnahme — und dieses Manko erben alle Clones. 16 kHz heißt: Oberhalb von 8 kHz existiert schlicht keine Information, S- und T-Laute klingen stumpfer als im Original. Kein Modell kann herbeizaubern, was die Aufnahme nicht enthält.

Die Regel daraus: Vor dem Klonen 2–3 Minuten frisch aufnehmen — 48 kHz (jedes aktuelle Smartphone kann das), ruhiger Raum, konstanter Mikrofonabstand, natürliches Sprechtempo. Das verbessert jedes Modell mehr als jede Parameter-Schrauberei danach.

Der Testtext

Alle Modelle sprechen exakt denselben Text (~490 Zeichen, ~35 Sekunden). Er ist bewusst konstruiert: Eigennamen als Aussprache-Stolperstellen („M V X Läbs", „Kurvenfokus"), eine lange Zahl als Wort („tausendzweihundert"), ein Doppelpunkt-Satz für die Betonung und eine Frage am Ende. Nur mit identischem Text sind die Ergebnisse vergleichbar — und die Stolperstellen zeigen sofort, welches Modell bei deutscher Aussprache schwimmt.

Das Setup: getrennte Umgebungen mit uv

Jedes Modell bekommt eine eigene Python-Umgebung — die PyTorch-Versionen der Projekte vertragen sich nicht, und genau dafür ist uv ideal, weil es passende Python-Versionen gleich mitliefert:

brew install uv
mkdir ~/tts-test && cd ~/tts-test

# pro Modell ein eigenes venv, z. B.:
uv venv qwen-env --python 3.12
uv pip install --python qwen-env/bin/python qwen-tts soundfile

Die fünf Kandidaten — und ihre Stolpersteine

Hier das Protokoll in aller Ehrlichkeit. Drei der vier Fehler, die uns aufgehalten haben, waren keine Modellprobleme, sondern Dependency-Archäologie.

1. Qwen3-TTS (Alibaba, Januar 2026) — der Komfortsieger

Ein pip-Paket, läuft sofort auf der Mac-GPU (MPS), klont aus wenigen Sekunden Referenz und spricht den ganzen Text in einem Stück. Lizenz: Apache 2.0. Der komplette Kern:

import torch, soundfile as sf
from qwen_tts import Qwen3TTSModel

model = Qwen3TTSModel.from_pretrained(
    "Qwen/Qwen3-TTS-12Hz-1.7B-Base",
    device_map="mps", dtype=torch.float16)

wavs, sr = model.generate_voice_clone(
    text=TESTTEXT, language="German",
    ref_audio="referenz_9s.wav",
    ref_text="Transkript der Referenz...")
sf.write("clone.wav", wavs[0], sr)

Rechenzeit: 84 Sekunden für 32 Sekunden Audio (Realtime-Faktor 2,6). Stolpersteine: keine.

2. CosyVoice 3 (Alibaba) — der Qualitätssieger

Kleinstes Modell im Feld (0,5 Mrd. Parameter), Apache 2.0, chunkt lange Texte selbstständig in Sätze. Aber die Installation ist die sperrigste: Repo klonen, Python 3.10, und dann drei Hürden nacheinander:

• Die requirements.txt zieht einen CUDA-Paketindex, den es für macOS nicht gibt → die --extra-index-url-Zeilen entfernen.
• openai-whisper braucht beim Bauen pkg_resources → vorher setuptools<81 installieren (ab Version 82 wurde pkg_resources entfernt — dieser eine Umstand hat uns an diesem Tag zweimal erwischt).
• pyworld braucht numpy zur Build-Zeit → numpy und Cython vorinstallieren, dann mit --no-build-isolation erneut.

Danach: läuft, allerdings nur auf der CPU. 119 Sekunden für 41 Sekunden Audio (RTF 2,9).

3. Chatterbox Multilingual (Resemble AI) — solide, aber langsam

MIT-Lizenz, 23 Sprachen, läuft auf MPS. Stolperstein: Das eingebaute Audio-Watermarking-Modul perth crasht mit aktuellem setuptools — gleiche Ursache, gleiche Lösung: setuptools<81. Zweite Eigenheit: Bei unserem 35-Sekunden-Text griff die interne Wiederholungs-Erkennung und beendete das Audio nach 30,6 Sekunden — der letzte Satz fehlt. Für lange Texte muss man satzweise generieren. RTF 8,5 — das Dreifache von Qwen.

4. XTTS-v2 (Coqui) — der Klassiker

Jahrelang der Standard für lokales Cloning. Zwei Nacharbeiten: transformers<5 pinnen (eine intern genutzte Funktion existiert in Version 5 nicht mehr) und für PyTorch 2.9 das codec-Extra nachinstallieren. Ergebnis: funktioniert, spricht aber auffällig langsam (50 statt 35 Sekunden) und zerlegt den Markennamen hörbar. Wichtigster Punkt: Die Coqui-Lizenz erlaubt keine kommerzielle Nutzung — und die Firma dahinter existiert nicht mehr.

5. F5-TTS (German-Finetune) — der Totalausfall

Auf dem Papier attraktiv (Flow-Matching, native Apple-Silicon-Unterstützung via MLX), in der Praxis eine Kette von Inkompatibilitäten: Das deutsche Community-Modell passte nicht zur aktuellen Library-Version (Gewichte-Format geändert, Duration-Predictor inkompatibel), die Dauer-Heuristik erzeugte Zeitlupen-Audio, und auch nach manuell gesetzter Dauer war das Ergebnis unbrauchbar — dazu gleich mehr, denn genau hier zeigt sich der Wert der objektiven Messung.

Messen statt raten: der Whisper-Rücktranskriptions-Check

Fünf Modelle × mehrere Varianten — wer soll das alles konzentriert Probe hören? Unser Ansatz: Jede erzeugte Probe wird mit Whisper (large-v3-turbo, lokal via MLX) automatisch transkribiert und das Transkript mit dem Soll-Text verglichen. Das misst keine Stimmähnlichkeit, aber Verständlichkeit und Artikulation — und deckt kaputte Ausgaben gnadenlos auf:

Modell	Ähnlichkeit zum Soll-Text	Auffälligkeit
ElevenLabs (Referenz)	79,0 %	Deckelwert der Metrik
CosyVoice 3	78,4 %	praktisch Referenz-Niveau
Chatterbox	60,5 %	bestätigt den Textabbruch
XTTS-v2	60,3 %	Markenname zerfällt
Qwen3-TTS	55,9 %	einzelne Passagen verwaschen
F5-German	0,0 %	Transkript: „Mal Mal Mal Mal…"

Zwei Dinge daran sind bemerkenswert. Erstens: Die 100 % erreicht niemand — die Metrik bestraft Normalisierungs-Unterschiede (aus „M V X Läbs" wird im Transkript „MVX Labs"), deshalb zählt der Abstand zur Referenz, nicht der Absolutwert. Zweitens: F5 hatte optisch eine plausible Audiodatei erzeugt. Erst das Transkript — vierzigmal das Wort „Mal" — zeigte, dass es Loop-Müll war. Ohne die Messung hätten wir eine kaputte Probe verglichen.

Hörproben: entscheide selbst

Alle Proben sprechen denselben Text, geklont aus derselben 9-Sekunden-Referenz. Zuerst die Cloud-Referenz, dann die lokalen Modelle in der Reihenfolge des Verständlichkeits-Checks:

Und Frauenstimmen? Das Akzent-Problem und die VoiceDesign-Lösung

Für einen Dialog-Podcast braucht es mehr als eine Stimme. Qwen3-TTS bringt neun fertige Sprecherprofile mit — aber die sind international besetzt: Die Frauenstimme „Serena" spricht Deutsch mit deutlichem US-Akzent, andere Profile klingen japanisch oder koreanisch gefärbt. Eine deutsche Muttersprachlerin ist nicht dabei:

Die Lösung heißt VoiceDesign: Eine Modellvariante, die Stimmen aus einer Textbeschreibung entwirft — „warme weibliche Stimme Mitte dreißig, deutsche Muttersprachlerin, neutrales Hochdeutsch, professionelle Radiomoderatorin":

Der Haken: VoiceDesign entwirft die Stimme bei jedem Aufruf neu — über mehrere Absätze kann die Stimmfarbe leicht driften. Feste Stimmen bleiben die Domäne des Clonings (mit Einwilligung einer echten Sprecherin) oder der Cloud-Kataloge.

Der Praxistest: ein echter Podcast-Teaser, zweimal produziert

Zum Abschluss das Duell unter Realbedingungen. Für unseren Artikel über die neuen KI-Regeln ab August haben wir am selben Tag einen Podcast produziert — Teaser, Folge, Kapitelmarken, alles mit ElevenLabs. Denselben Teaser-Dialog haben wir anschließend lokal nachproduziert, mit zwei VoiceDesign-Stimmen:

Unser ehrliches Fazit aus dem Duell: Die Cloud liegt bei Konsistenz und Feinschliff vorn, und sie ist um Größenordnungen schneller. Aber der lokale Teaser ist erkennbar dieselbe Liga — vor zwölf Monaten wäre das undenkbar gewesen.

Die Lizenz-Ampel

Modell	Lizenz	Veröffentlichen erlaubt?
Qwen3-TTS	Apache 2.0	✅ ja, auch kommerziell
CosyVoice 3	Apache 2.0	✅ ja, auch kommerziell
Chatterbox	MIT	✅ ja, auch kommerziell
XTTS-v2	Coqui CPML	⚠️ nur nicht-kommerziell
F5-TTS (Gewichte)	CC-BY-NC	⚠️ nur nicht-kommerziell

Fazit und Ausblick

Lokales Voice Cloning ist 2026 keine Bastelei mehr. Die Alibaba-Doppelspitze macht es konkret: Qwen3-TTS, wenn es bequem und schnell sein soll, CosyVoice 3, wenn maximale Verständlichkeit zählt — beide mit Lizenzen, die echte Veröffentlichungen erlauben. Die ältere Generation (XTTS, F5) ist technisch und lizenzrechtlich überholt, und der Realtime-Faktor von 2–3 macht Batch-Produktion praktikabel, Echtzeit aber nicht.

Was wir im Auge behalten: Microsofts VibeVoice kann komplette Multi-Sprecher-Podcasts bis 90 Minuten am Stück erzeugen — bisher nur auf Englisch und Chinesisch. Sobald Deutsch dazukommt, wiederholen wir dieses Experiment mit der ganzen Folge statt nur dem Teaser.

Und falls du nur eines aus diesem Artikel mitnimmst: Nimm zuerst eine gute Referenz auf. 48 kHz, drei Minuten, ruhiger Raum. Alles andere ist danach erstaunlich einfach geworden.