对多数观众真正想要的那件事——跟上情境、认清角色、大致明白一段对话在说什么——机器翻译字幕是够用的。但凡是取决于某一句话具体措辞的场合,它就不够用。
这个二分不是在打太极。它是这条流水线怎么搭出来的直接结果:两个自动化环节串在一起,前一个环节的错误变成后一个环节的输入,而后一个环节根本没办法知道自己正在翻译的东西从来没人说过。
字幕被自动生成时,实际发生了什么?
两套彼此独立的系统按先后顺序跑,而且它们之间没有回话。
第一步是自动语音识别(ASR)。 它把音轨转成带时间轴的日文文本。对这类素材来说这是最难的一步,绝大部分损伤也发生在这里。
第二步是机器翻译(MT)。 它拿那份日文文本产出中文。现代机器翻译在这件事上确实很强——前提是输入干净、正确。
问题出在两者的接口上。第二步收到的是文本,不是音频。它听不出第一步是在猜。一个听错的词进来时,看上去跟一个听对的词一模一样,而机器翻译就做它被造出来要做的事:产出流畅、合乎语法的输出。结果就是一句读起来毫无破绽、意思却从来没人说过的话。
为什么这类素材比这些系统调优时用的音频更难?
因为语音识别的训练和评测大多基于广播、讲座和会议音频,而成人视频几乎违反了那类素材隐含的每一条假设。
- 说话人重叠。 ASR 是围绕「轮流说话」搭的。同时开口要么被压缩成其中一个人的一句话,要么产出两个人的混合物。
- 很大一部分音频不是语言。 呼吸和各种发声占据了系统预期出现词语的那段声学空间,而一个倾向于「找到语音」的系统就一定会找到语音。
- 录音条件千差万别。 手持和单麦克风的拍法,语噪比远低于广播基准。
- 上下文窗口稀薄。 机器翻译靠前后句子来消歧。这里的对白往往是短促、孤立的感叹,周围几乎没有可供消歧的文本。
- 日语会省略主语。 一个语法完整的日语句子经常省掉谁在说、说给谁听,以及所指对象是单数还是复数。中文虽然也能省,但翻译系统还是得替你补出一个——而它会挑一个听上去合理的默认值,并且说得非常笃定。
- 敬语和语体在译文里没有对应的槽位。 由说话层级承载的人际关系信息,是最先丢掉的东西之一。
这些没有一个能靠一个更好的翻译模型解决,因为它们没有一个是翻译问题。
应该预期哪几类错误,各自有多严重?
错误可以按「由哪一步产生」干净地分类,而这决定了它们有多容易被救回来。
| 错误类型 | 产生环节 | 在屏幕上是什么样 | 对理解的影响 |
|---|---|---|---|
| 在非语音音频上凭空造出对白 | ASR | 没人说话的地方冒出字幕 | 低——很明显,容易忽略 |
| 听错的词被译得很流畅 | ASR | 一句语法正确却和场景对不上的话 | 高——看不出来,而且很像真的 |
| 人名被变成普通词 | ASR | 人名被换成一个音近的名词 | 中——让人困惑但察觉得到 |
| 代词的性别或单复数弄错 | MT | 同一个人一会儿「他」一会儿「她」 | 中——很跳戏,但通常猜得出来 |
| 敬语和语体被抹平 | MT | 所有人都用同一种中性口吻说话 | 中——人际关系的层次完全丢失 |
| 习语被直译 | MT | 逐字对译,读起来毫无意义 | 低——一看就知道是胡话 |
| 双关和文字游戏 | MT | 要么直译,要么被换成毫不相干的东西 | 高——那个笑点直接没了 |
| 重叠对话被压成一句 | ASR | 只有声音较大的那个人出现 | 中——你会丢掉这一来一往 |
那两行「影响高」的错误有一个共同点:你光看字幕是发现不了它们的。 其他错误都会自己暴露。而一个听错的词被写成一句流畅的中文不会——这正是它最要命的地方。
什么时候可以信,什么时候不该信?
在连贯性和情境上可以信;在意思本身承重的任何地方都不要信。
可以合理依赖的:
- 跟上有谁在场、正在发生什么、场景怎么推进
- 大致的情绪基调——同意、拒绝、犹豫
- 反复出现的程式化对话,上下文本身已经让意思变得多余
- 判断一个场景是不是你在找的那个
值得怀疑的:
- 任何看起来揭示了剧情点、人物关系或设定的台词
- 人名、地名、品牌和厂牌相关的说法
- 任何被当成笑话或双关呈现的东西
- 对话重叠或背景噪声很大时的台词
- 礼貌程度和语体的暗示,只要人物关系对你有意义
- 数字和时间,ASR 在这上面特别容易识别错
一条实用规则:如果某一句字幕改变了你对整个场景的理解,就把它当成未经证实的。 真正的剧情信息通常会被重述,或者用画面表现出来。一个只出现过一次、只在一句话里、之后再没复现的「揭露」,更可能是流水线的产物,而不是剧本里的东西。
怎么快速判断一轨字幕的水平?
看头几分钟,做下面这五项检查,这轨字幕的档次就一目了然。
| 检查项 | 差的字幕轨会怎样 |
|---|---|
| 静默或非语言音频时会不会冒出字幕? | 会,而且很频繁 |
| 同一个人名每次拼写都一样吗? | 不一样——会漂移,或者变成一个普通名词 |
| 指同一个人时代词保持一致吗? | 不一致——句与句之间来回跳 |
| 每句是不是长度整齐划一? | 是——自动切分的痕迹 |
| 习语读起来是不是直译的胡话? | 是——完全没有意译改写 |
命中两项以上,就说明你看的是一条自动化流水线的产物,而且后面的片长里质量不会变好。这值得一开始就搞清楚,因为它告诉你:在接下来的一两个小时里,任何单独一句台词该被赋予多大权重。
相关问题
哪些平台有带字幕的作品,差别相当大——看看我们在站点列表里索引了什么。