自動翻訳の字幕は、多くの視聴者が本当に求めていること——状況を追い、誰がどういう立場かを把握し、会話の大筋をつかむこと——には十分です。ある一行の言い回しそのものにかかっているようなことには、十分ではありません。

この線引きは逃げではありません。仕組みの作りから直接出てくる帰結です。自動化された段階が2つ直列につながっていて、1つめの段階の間違いが2つめの段階の入力になり、2つめの段階には、自分がそもそも言われていないことを訳しているのだと知る手立てがありません。

字幕が自動生成されるとき、実際には何が起きているのか？

2つの別々のシステムが順番に走り、互いに折り返して確認し合うことはありません。

1段めは自動音声認識（ASR）です。 音声トラックを、時刻情報つきの日本語テキストに変換します。この素材にとってはここが難所で、損傷の大半もここで生まれます。

2段めは機械翻訳（MT）です。 その日本語テキストを受け取って英語を作ります。現在のMTは、きれいで正しい入力に対してであれば、本当に強力です。

問題は両者のつなぎ目にあります。2段めが受け取るのはテキストであって音声ではありません。1段めが当て推量をしたことを、耳で確かめようがないのです。聞き間違えられた語は、正しく聞き取られた語とまったく同じ顔をして届き、MTは自分が作られた目的どおりのことをします。流暢で文法的に正しい出力を作るのです。結果として、読めば完璧なのに、誰も言っていない意味の文が出てきます。

この素材が、こうしたシステムが調整されてきた音声より難しいのはなぜか？

音声認識の学習も評価も、その多くが放送、講義、会議の音声にもとづいており、AVの音声はそこに埋め込まれた前提のほとんどすべてに反するからです。

  • 話者が重なります。 ASRは話者交替を前提に作られています。同時に話されると、片方の台詞に潰れるか、両方が混ざったものが出てきます。
  • 音声の多くが言葉ではありません。 息づかいや発声が、システムが語を期待している音響上の場所を占めます。そして音声を見つけるほうへ偏ったシステムは、音声を見つけてしまいます。
  • 収録条件のばらつきが極端です。 手持ちやマイク1本の環境では、声と雑音の比が放送の基準をはるかに下回ります。
  • 前後の文脈が乏しいです。 MTは周囲の文を使ってあいまいさを解きます。ここでの台詞は短く孤立した感嘆であることが多く、手がかりになる周囲の文章がほとんどありません。
  • 日本語は主語を落とします。 文法的に正しい日本語の文は、誰が話しているのか、誰に向けているのか、指しているものが単数なのかを省くことがよくあります。英語には代名詞が要るので、翻訳する側はそれを作り出すしかありません。そして、それらしい既定値を選んで、完全な自信をもって書きます。
  • 敬語や語調に対応する枠が英語にありません。 話し方の丁寧さが運んでいる関係の情報は、まっさきに失われるものの1つです。

これらはどれも、より優れた翻訳モデルでは解決しません。どれも翻訳の問題ではないからです。

どんな誤りが出てくるのか、そしてそれぞれどれくらい深刻か？

誤りはどの段階で生まれたかできれいに分類でき、それが、あとから取り返せるかどうかを決めます。

誤りの型 生まれる段階 画面上での見え方 理解への影響
発話でない音の上に台詞が作られる ASR 誰も話していないところに行が出る 低——明らかなので無視しやすい
聞き間違えた語が流暢に訳される ASR 場面に合わない、文法的に正しい文 高——見えないうえに、もっともらしい
人名が普通の語になる ASR 人の名前が、似た音の名詞に置き換わる 中——紛らわしいが気づける
代名詞の性や数が間違う MT 同じ人物に対して「彼」と「彼女」が入れ替わる 中——引っかかるが、たいてい推測できる
敬語や語調が平板になる MT 全員が同じ中立的な口調で話す 中——関係のニュアンスが丸ごと消える
慣用句が直訳される MT 語をそのまま並べた、意味をなさない訳 低——意味不明だと分かる
言葉遊びやダジャレ MT 直訳されるか、無関係な何かに置き換わる 高——笑いどころが単に消える
重なった発話が1行にまとめられる ASR 声の大きいほうしか出てこない 中——やりとりが失われる

影響が「高」の2行には共通の性質があります。字幕だけを見ても検出できないという点です。ほかはどれも自分から名乗り出てくれます。流暢な英語に訳された聞き間違いだけは名乗り出ません。だからこそ、もっとも厄介なのです。

どこまで信じてよく、どこから信じるべきでないのか？

流れと状況については信じてよく、意味が支えになっている箇所ではどこでも疑ってください。

頼ってよいこと：

  • 誰がいて、何が起きていて、場面がどう進んでいるかを追うこと
  • おおまかな感情の方向——同意、拒否、ためらい
  • 文脈から意味が自明になっている、繰り返しの決まり文句のやりとり
  • その場面が探していたものかどうかの判断

疑うべきこと：

  • 筋書きの要点、関係、設定を明かしているように見える行
  • 人名、地名、ブランド名、レーベルへの言及
  • 冗談やダジャレとして提示されているもの
  • 台詞が重なっている場面や、背景の雑音が大きい場面の行
  • 人どうしの関係が重要なときの、丁寧さや語調の手がかり
  • 数字と時刻。ASRはこれをよく取り違えます

実用的なルールを1つ。字幕の1行が場面全体の理解を変えてしまうなら、それは未確認として扱ってください。 本当の筋書きの情報は、言い直されるか、映像で示されるのが普通です。ちょうど一度だけ、一行だけ現れて二度と出てこない「明かされごと」は、脚本上の要点よりも処理の副産物である可能性のほうが高いのです。

トラックの出来を手早く見分けるには？

最初の数分をこの5つの観点で見れば、そのトラックの等級はすぐ分かります。

観点 出来の悪いトラックはどうなるか
無音や言葉でない音のところに行が出るか？ 出る。しかも頻繁に
人名が毎回同じ綴りになっているか？ なっていない——揺れるか、普通名詞になる
同じ人物の代名詞が一貫しているか？ していない——行ごとに入れ替わる
行の長さが一様に短く、似た大きさか？ そうなっている——自動で区切られている
慣用句が直訳の意味不明な文になっているか？ なっている——慣用句としての書き換えがない

2つ以上当てはまれば、それは自動処理の出力を見ているということであり、品質が後半でよくなることはありません。これは最初に知っておく価値があります。残りの1〜2時間、個々の行にどれだけ重みを置くかが決まるからです。

関連する疑問

そもそも字幕つきの作品を扱っているプラットフォームは限られていて、その差はかなり大きいものです。当サイトが索引したものはサイト一覧で確認できます。