Warum lesen sich automatisch übersetzte Untertitel flüssig und liegen trotzdem falsch?

Flüssigkeit und Richtigkeit entstehen in verschiedenen Stufen. Die Übersetzungsstufe optimiert auf natürlich klingenden Ausgabetext, ein falsch gehörtes Wort kommt also bereits beschädigt an und wird als selbstbewusster, grammatisch sauberer englischer Satz ausgegeben, statt als unsicher markiert zu werden.

Werden automatisch übersetzte Untertitel bei besserer Videoqualität besser?

Nur wenn der Ton mitzieht. Die Spracherkennung arbeitet auf der Tonspur, die Auflösung ist also egal — eine saubere Aufnahme mit einem einzigen Mikrofon liefert bessere Ergebnisse als eine 4K-Datei mit verrauschtem, überlagertem Ton.

Sollte ich automatisch übersetzte Untertitel abschalten?

Meist nicht. Sie tragen Situationsinformationen, die Stille nicht liefert, und ihre Fehlermuster sind erkennbar, sobald man sie kennt. Misstrau lieber einzelnen Zeilen, statt die ganze Spur wegzuwerfen.

Wie gut sind automatisch übersetzte Untertitel wirklich?

Automatisch übersetzte Untertitel reichen zuverlässig aus, um zu verfolgen, wer was warum tut, und sie sind unzuverlässig bei Wortspielen, Höflichkeitsformen, Namen und jeder Zeile, bei der eine Fehlübersetzung den Sinn kippt. Begrenzt wird die Qualität weniger von der Übersetzung als von der Spracherkennung, die sie speist.

Automatisch übersetzte Untertitel reichen für das, was die meisten Zuschauer tatsächlich wollen — der Situation, den Rollen und dem groben Verlauf eines Gesprächs folgen. Für alles, was am genauen Wortlaut einer einzelnen Zeile hängt, reichen sie nicht.

Diese Zweiteilung ist keine Ausflucht. Sie folgt direkt daraus, wie die Verarbeitungskette gebaut ist: zwei automatische Stufen hintereinander, wobei die Fehler der ersten Stufe zur Eingabe der zweiten werden — und die zweite Stufe hat keine Möglichkeit zu merken, dass sie etwas übersetzt, das nie gesagt wurde.

Was passiert eigentlich, wenn Untertitel automatisch erzeugt werden?

Zwei getrennte Systeme laufen nacheinander, und sie sprechen nicht miteinander zurück.

Stufe eins ist die automatische Spracherkennung (ASR). Sie wandelt die Tonspur in japanischen Text mit Zeitmarken um. Das ist bei diesem Material die schwierige Stufe, und hier entsteht der meiste Schaden.

Stufe zwei ist die maschinelle Übersetzung (MT). Sie nimmt diesen japanischen Text und produziert Englisch. Moderne MT ist darin wirklich stark — bei sauberer, korrekter Eingabe.

Das Problem ist die Schnittstelle dazwischen. Stufe zwei bekommt Text, keinen Ton. Sie kann nicht hören, dass Stufe eins geraten hat. Ein falsch gehörtes Wort sieht exakt aus wie ein richtig gehörtes, und MT tut, wofür sie gebaut ist: flüssige, grammatisch saubere Ausgabe erzeugen. Das Ergebnis ist ein Satz, der sich perfekt liest und etwas bedeutet, das nie gesagt wurde.

Warum ist dieses Material schwieriger als der Ton, auf den diese Systeme abgestimmt sind?

Weil Spracherkennung überwiegend auf Rundfunk-, Vorlesungs- und Meeting-Ton trainiert und gemessen wird, und Erwachsenenvideo praktisch jede Annahme verletzt, die in diesem Material steckt.

Sprecher überlappen sich. ASR ist auf abwechselndes Sprechen gebaut. Gleichzeitiges Sprechen fällt entweder auf die Zeile eines Sprechers zusammen oder ergibt eine Mischung aus beidem.
Ein großer Teil des Tons ist nonverbal. Atem und Lautäußerungen besetzen den akustischen Raum, in dem ein System Wörter erwartet, und ein System, das darauf ausgelegt ist, Sprache zu finden, findet Sprache.
Die Aufnahmebedingungen schwanken enorm. Aufbauten aus der Hand und mit einem einzigen Mikrofon erzeugen ein Sprach-Rausch-Verhältnis weit unter Rundfunkniveau.
Die Kontextfenster sind dünn. MT löst Mehrdeutigkeit über die umgebenden Sätze auf. Die Dialoge hier sind oft kurze, isolierte Ausrufe mit fast keinem Text drumherum, an dem sich etwas klären ließe.
Japanisch lässt das Subjekt weg. Ein grammatisch korrekter japanischer Satz sagt häufig nicht, wer spricht, wer angesprochen wird und ob der Bezug im Singular steht. Englisch verlangt ein Pronomen, also muss der Übersetzer eines erfinden — und er wählt eine plausible Voreinstellung und stellt sie mit voller Überzeugung hin.
Für Höflichkeitsformen und Register gibt es im Englischen keinen Platz. Die Beziehungsinformation, die die Höflichkeitsebene trägt, geht als eine der ersten verloren.

Nichts davon löst ein besseres Übersetzungsmodell, denn nichts davon ist ein Übersetzungsproblem.

Welche Fehler solltest du erwarten, und wie schlimm ist jeder davon?

Die Fehler sortieren sich sauber danach, welche Stufe sie erzeugt hat, und das bestimmt, wie gut sie sich auffangen lassen.

Fehlertyp	Entsteht in	Wie es auf dem Bildschirm aussieht	Auswirkung aufs Verständnis
Erfundener Dialog über nonverbalem Ton	ASR	Zeilen erscheinen, wo niemand spricht	Gering — offensichtlich, leicht zu ignorieren
Falsch gehörtes Wort, flüssig ausgegeben	ASR	Ein sauberer Satz, der nicht zur Szene passt	Hoch — unsichtbar, und plausibel
Namen werden zu gewöhnlichen Wörtern	ASR	Der Name einer Person wird durch ein ähnlich klingendes Substantiv ersetzt	Mittel — verwirrend, aber erkennbar
Falsches Genus oder falscher Numerus beim Pronomen	MT	"He" und "she" wechseln für dieselbe Person	Mittel — irritierend, meist erschließbar
Höflichkeitsformen und Register eingeebnet	MT	Alle sprechen im selben neutralen Ton	Mittel — die Beziehungsnuance ist ganz weg
Redewendung wörtlich übersetzt	MT	Eine Wort-für-Wort-Wiedergabe, die nichts bedeutet	Gering — als Unsinn erkennbar
Wortspiele und Kalauer	MT	Entweder wörtlich oder durch etwas Zusammenhangloses ersetzt	Hoch — der Witz ist schlicht weg
Überlappendes Sprechen auf eine Zeile reduziert	ASR	Nur der lautere Sprecher erscheint	Mittel — der Schlagabtausch geht verloren

Die beiden Zeilen mit hoher Auswirkung teilen eine Eigenschaft: Du kannst sie am Untertitel allein nicht erkennen. Alles andere meldet sich selbst. Ein falsch gehörtes Wort in flüssigem Englisch tut das nicht — und genau deshalb wiegt es am schwersten.

Wann kannst du ihnen trauen, und wann nicht?

Trau ihnen bei Zusammenhang und Situation; misstrau ihnen überall dort, wo die Bedeutung trägt.

Vernünftig, sich darauf zu verlassen:

Verfolgen, wer anwesend ist, was passiert und wie die Szene voranschreitet
Grobe emotionale Lage — Zustimmung, Ablehnung, Zögern
Wiederkehrende, formelhafte Wortwechsel, bei denen der Kontext die Bedeutung ohnehin liefert
Entscheiden, ob eine Szene das ist, wonach du gesucht hast

Besser misstrauen:

Jede Zeile, die einen Handlungspunkt, eine Beziehung oder eine Prämisse zu enthüllen scheint
Namen, Orte, Marken und Verweise auf Labels
Alles, was als Witz oder Wortspiel daherkommt
Zeilen während überlappender Dialoge oder starker Hintergrundgeräusche
Hinweise auf Höflichkeit und Register, wenn die Beziehung zwischen Personen zählt
Zahlen und Uhrzeiten, die ASR bereitwillig falsch erkennt

Eine praktische Regel: Wenn eine einzelne Untertitelzeile dein Verständnis der ganzen Szene verändert, behandle sie als unbestätigt. Echte Handlungsinformationen werden meist wiederholt oder visuell gezeigt. Eine Enthüllung, die genau einmal in einer Zeile auftaucht und nie wiederkehrt, ist eher ein Artefakt der Verarbeitungskette als ein Drehbuchpunkt.

Wie beurteilst du eine Untertitelspur schnell?

Schau dir die ersten Minuten mit diesen fünf Prüfungen an, dann ist die Note der Spur offensichtlich.

Prüfung	Was eine schwache Spur tut
Erscheinen Zeilen während Stille oder nonverbalem Ton?	Ja, häufig
Wird der Name einer Person jedes Mal gleich geschrieben?	Nein — er driftet oder wird zu einem Alltagswort
Bleiben die Pronomen für eine Person konsistent?	Nein — sie kippen von Zeile zu Zeile
Sind die Zeilen durchgehend kurz und ähnlich lang?	Ja — automatische Segmentierung
Lesen sich Redewendungen als wörtlicher Unsinn?	Ja — keine idiomatische Umformulierung

Zwei oder mehr davon heißen: Du siehst die Ausgabe einer automatischen Verarbeitungskette, und die Qualität wird im weiteren Verlauf nicht besser. Das ist vorab gut zu wissen, denn es sagt dir, wie viel Gewicht du in der verbleibenden Stunde oder zwei auf einzelne Zeilen legen solltest.