对多数观众真正想要的那件事——跟上情境、认清角色、大致明白一段对话在说什么——机器翻译字幕是够用的。但凡是取决于某一句话具体措辞的场合,它就不够用。

这个二分不是在打太极。它是这条流水线怎么搭出来的直接结果:两个自动化环节串在一起,前一个环节的错误变成后一个环节的输入,而后一个环节根本没办法知道自己正在翻译的东西从来没人说过。

字幕被自动生成时,实际发生了什么?

两套彼此独立的系统按先后顺序跑,而且它们之间没有回话。

第一步是自动语音识别(ASR)。 它把音轨转成带时间轴的日文文本。对这类素材来说这是最难的一步,绝大部分损伤也发生在这里。

第二步是机器翻译(MT)。 它拿那份日文文本产出中文。现代机器翻译在这件事上确实很强——前提是输入干净、正确。

问题出在两者的接口上。第二步收到的是文本,不是音频。它听不出第一步是在猜。一个听错的词进来时,看上去跟一个听对的词一模一样,而机器翻译就做它被造出来要做的事:产出流畅、合乎语法的输出。结果就是一句读起来毫无破绽、意思却从来没人说过的话。

为什么这类素材比这些系统调优时用的音频更难?

因为语音识别的训练和评测大多基于广播、讲座和会议音频,而成人视频几乎违反了那类素材隐含的每一条假设。

  • 说话人重叠。 ASR 是围绕「轮流说话」搭的。同时开口要么被压缩成其中一个人的一句话,要么产出两个人的混合物。
  • 很大一部分音频不是语言。 呼吸和各种发声占据了系统预期出现词语的那段声学空间,而一个倾向于「找到语音」的系统就一定会找到语音。
  • 录音条件千差万别。 手持和单麦克风的拍法,语噪比远低于广播基准。
  • 上下文窗口稀薄。 机器翻译靠前后句子来消歧。这里的对白往往是短促、孤立的感叹,周围几乎没有可供消歧的文本。
  • 日语会省略主语。 一个语法完整的日语句子经常省掉谁在说、说给谁听,以及所指对象是单数还是复数。中文虽然也能省,但翻译系统还是得替你补出一个——而它会挑一个听上去合理的默认值,并且说得非常笃定。
  • 敬语和语体在译文里没有对应的槽位。 由说话层级承载的人际关系信息,是最先丢掉的东西之一。

这些没有一个能靠一个更好的翻译模型解决,因为它们没有一个是翻译问题。

应该预期哪几类错误,各自有多严重?

错误可以按「由哪一步产生」干净地分类,而这决定了它们有多容易被救回来。

错误类型 产生环节 在屏幕上是什么样 对理解的影响
在非语音音频上凭空造出对白 ASR 没人说话的地方冒出字幕 低——很明显,容易忽略
听错的词被译得很流畅 ASR 一句语法正确却和场景对不上的话 高——看不出来,而且很像真的
人名被变成普通词 ASR 人名被换成一个音近的名词 中——让人困惑但察觉得到
代词的性别或单复数弄错 MT 同一个人一会儿「他」一会儿「她」 中——很跳戏,但通常猜得出来
敬语和语体被抹平 MT 所有人都用同一种中性口吻说话 中——人际关系的层次完全丢失
习语被直译 MT 逐字对译,读起来毫无意义 低——一看就知道是胡话
双关和文字游戏 MT 要么直译,要么被换成毫不相干的东西 高——那个笑点直接没了
重叠对话被压成一句 ASR 只有声音较大的那个人出现 中——你会丢掉这一来一往

那两行「影响高」的错误有一个共同点:你光看字幕是发现不了它们的。 其他错误都会自己暴露。而一个听错的词被写成一句流畅的中文不会——这正是它最要命的地方。

什么时候可以信,什么时候不该信?

在连贯性和情境上可以信;在意思本身承重的任何地方都不要信。

可以合理依赖的:

  • 跟上有谁在场、正在发生什么、场景怎么推进
  • 大致的情绪基调——同意、拒绝、犹豫
  • 反复出现的程式化对话,上下文本身已经让意思变得多余
  • 判断一个场景是不是你在找的那个

值得怀疑的:

  • 任何看起来揭示了剧情点、人物关系或设定的台词
  • 人名、地名、品牌和厂牌相关的说法
  • 任何被当成笑话或双关呈现的东西
  • 对话重叠或背景噪声很大时的台词
  • 礼貌程度和语体的暗示,只要人物关系对你有意义
  • 数字和时间,ASR 在这上面特别容易识别错

一条实用规则:如果某一句字幕改变了你对整个场景的理解,就把它当成未经证实的。 真正的剧情信息通常会被重述,或者用画面表现出来。一个只出现过一次、只在一句话里、之后再没复现的「揭露」,更可能是流水线的产物,而不是剧本里的东西。

怎么快速判断一轨字幕的水平?

看头几分钟,做下面这五项检查,这轨字幕的档次就一目了然。

检查项 差的字幕轨会怎样
静默或非语言音频时会不会冒出字幕? 会,而且很频繁
同一个人名每次拼写都一样吗? 不一样——会漂移,或者变成一个普通名词
指同一个人时代词保持一致吗? 不一致——句与句之间来回跳
每句是不是长度整齐划一? 是——自动切分的痕迹
习语读起来是不是直译的胡话? 是——完全没有意译改写

命中两项以上,就说明你看的是一条自动化流水线的产物,而且后面的片长里质量不会变好。这值得一开始就搞清楚,因为它告诉你:在接下来的一两个小时里,任何单独一句台词该被赋予多大权重。

相关问题


哪些平台有带字幕的作品,差别相当大——看看我们在站点列表里索引了什么。