Whisper und KI-Spracherkennung: Moderne Modelle im Überblick

Die Spracherkennungstechnologie hat in den letzten fünf Jahren einen Qualitätssprung erlebt, der kaum einem anderen Bereich der angewandten KI gleichkommt. Ausgelöst wurde dieser Sprung durch die Einführung von Transformer-Architekturen und die Verfügbarkeit großer Mengen an Trainingsdaten.

Das bekannteste öffentlich zugängliche System dieser neuen Generation ist Whisper von OpenAI, das 2022 als Open-Source-Modell veröffentlicht wurde. Whisper veränderte die Branche nicht durch überlegene Ressourcen allein, sondern durch einen cleveren Trainingsansatz: schwach überwachtes Lernen auf Webdaten in 99 Sprachen.

Architektur: Transformer als universelles Werkzeug

Klassische Spracherkennungssysteme der 2000er und 2010er Jahre bestanden aus mehreren spezialisierten Komponenten. Ein akustisches Modell analysierte Phoneme, ein Sprachmodell berechnet Wortwahrscheinlichkeiten, und ein Decoder kombinierte beide Signale zum Ergebnis. Diese Modularität war flexibel, führte aber dazu, dass Fehler sich durch die Kette fortpflanzten.

Transformer-basierte Systeme wie Whisper erledigen diese Schritte in einem einzigen Ende-zu-Ende-Netz. Ein Encoder verarbeitet Mel-Spektrogramme des Audiosignals und kodiert akustische Merkmale in hochdimensionale Vektoren. Der Decoder generiert daraus autoregressive Tokens, also Text Wort für Wort.

Diese Architektur hat einen entscheidenden Vorteil: Das Netz kann gleichzeitig von Akustik und Sprachkontext lernen, ohne dass diese Signale explizit getrennt werden müssen.

Trainingsdaten als entscheidender Faktor

Whisper wurde laut Paper auf 680.000 Stunden Audio trainiert, die aus dem Internet gesammelt wurden. Das ist ein Vielfaches der Datenmengen, die in der Forschung zuvor üblich waren. Die Daten stammen aus verschiedensten Quellen: Podcast-Aufnahmen, YouTube-Videos, Vorträge, Interviews, Sprachkurse.

Entscheidend ist dabei der Ansatz des schwach überwachten Lernens. Statt teuer erstellter manueller Transkripte nutzte OpenAI automatisch generierte Untertitel aus dem Web. Diese sind nicht fehlerfrei, reichen in ihrer Menge aber aus, damit das Modell robuste akustische Repräsentationen erlernt.

Das Ergebnis: Im Whisper-Paper liegt die Wortfehlerrate auf dem englischen LibriSpeech-Testsatz test-clean bei rund 2,7 Prozent (große Modellvariante). Die Autoren betonen vor allem die Robustheit gegenüber Akzenten, Rauschen und fremden Datensätzen, nicht den Bestwert auf einem einzelnen Benchmark.

Modellvarianten und ihre Eigenschaften

Whisper ist in mehreren Größen verfügbar, die unterschiedliche Kompromisse zwischen Genauigkeit und Rechenanforderungen bieten:

Tiny (39 Mio. Parameter): Sehr schnell, läuft auf schwacher Hardware und im Browser. Erkennungsgenauigkeit für einfache Anwendungsfälle ausreichend, bei Rauschen oder Akzenten eingeschränkt.

Base (74 Mio.): Guter Startpunkt für Experimente. Schneller als Small, messbar besser als Tiny.

Small (244 Mio.): Deutlich bessere Erkennungsqualität, noch auf normalen Rechnern ohne GPU schnell genug für Batch-Verarbeitung.

Medium (769 Mio.): Empfehlung für produktive Anwendungen. Gutes Verhältnis von Genauigkeit und Ressourcenbedarf.

Large-v3 (1,55 Mrd.): Beste verfügbare Erkennungsqualität, benötigt eine leistungsstarke GPU. Typisch für Cloud-API-Dienste.

Lokale Ausführung vs. Cloud-API

Whisper kann lokal ausgeführt werden, ohne dass Audiodaten das eigene System verlassen. Das ist für datenschutzsensible Anwendungen relevant, beispielsweise bei medizinischen Aufnahmen, Anwaltsgesprächen oder vertraulichen Besprechungen.

Die Herausforderung bei lokaler Ausführung: Large-v3 benötigt mindestens 10 GB GPU-Vram für akzeptable Verarbeitungsgeschwindigkeit. Auf CPU ist die Verarbeitung deutlich langsamer, aber möglich. Optimierte Implementierungen wie faster-whisper nutzen CTranslate2 als Backend und erreichen auf CPU eine etwa vier- bis achtfache Beschleunigung gegenüber der Referenzimplementierung.

Cloud-APIs bieten die beste Erkennungsqualität ohne eigene Hardwareinvestitionen. Whisper-basierte APIs wie die von OpenAI oder Deepgram verarbeiten Audio zu günstigen Preisen und liefern in Sekunden Ergebnisse. Der Tradeoff ist die Übertragung von Audiodaten an Dritte.

Spracherkennung in Browser-Anwendungen

Das Werkzeug auf dieser Seite nutzt die Spracherkennung des Browsers, nicht Whisper. Der Vorteil ist die einfache Bedienung: keine Installation, keine Kontoerstellung, kein eigener Server von sprache-zu-text.de. Die Erkennung selbst übernimmt allerdings der Browser: Chrome, Edge und Safari senden das Audio dafür an ihren Hersteller. Wer Audio garantiert nur lokal verarbeiten will, greift zu einer installierten Lösung wie Whisper.

Browser-basierte Spracherkennung nutzt dabei entweder die Web Speech API des Browsers oder WASM-basierte Implementierungen kleiner Whisper-Varianten wie whisper.cpp. Der Kompromiss gegenüber Server-APIs ist die begrenzte Modellgröße, die im Browser praktikabel lädt.

Mehrsprachigkeit und Spracherkennung

Whisper ist nativ mehrsprachig. Es erkennt automatisch die Sprache der Aufnahme und wechselt die Erkennungssprache entsprechend. Das ist besonders nützlich bei gemischtsprachigen Aufnahmen oder wenn die Eingabesprache vorab nicht bekannt ist.

Für Deutsch liefert Whisper Medium und Large Ergebnisse, die mit kommerziellen Diensten vergleichbar sind. Bei österreichischem oder schweizerdeutschem Akzent nehmen die Fehlerraten leicht zu, sind aber für die meisten Anwendungsfälle akzeptabel.

Grenzen und aktuelle Entwicklungen

Trotz großer Fortschritte bleiben bestimmte Herausforderungen bestehen. Simultanübersetzung in Echtzeit ist mit Whisper allein nicht möglich. Die Trennung mehrerer Sprecher in einer Aufnahme (Diarization) ist nicht Teil der Whisper-Architektur und muss durch separate Modelle ergänzt werden.

Die Forschung arbeitet an hybriden Systemen, die Spracherkennungsgenauigkeit mit Sprecheridentifikation, Emotionserkennung und Domänenadaption kombinieren. Der Markt für Spracherkennung entwickelt sich derzeit schneller als in den zwanzig Jahren zuvor.

Zum Ausprobieren gibt es das Diktier-Werkzeug auf der Startseite. Weiterlesen: Mikrofon für Diktat wählen: Hardware-Ratgeber für klare Sprachaufnahmen.