자동 번역 자막은 대다수 시청자가 실제로 원하는 것 — 상황과 배역, 대화의 큰 흐름을 따라가는 것 — 에는 충분히 쓸 만합니다. 대사 한 줄의 정확한 표현에 걸려 있는 일에는 충분하지 않습니다.

이 구분은 얼버무림이 아닙니다. 파이프라인이 만들어진 방식에서 곧바로 따라 나오는 결과입니다. 자동화된 두 단계가 직렬로 이어져 있고, 앞 단계의 실수가 뒤 단계의 입력이 되며, 뒤 단계는 자기가 실제로 나온 적 없는 말을 번역하고 있다는 것을 알 방법이 없습니다.

자막이 자동 생성될 때 실제로 무슨 일이 일어나나?

두 개의 별도 시스템이 차례로 돌아가고, 서로 되묻지 않습니다.

1단계는 자동 음성 인식(ASR)입니다. 오디오 트랙을 시간 정보가 붙은 일본어 텍스트로 바꿉니다. 이 자료에서는 여기가 어려운 단계이고, 손상 대부분도 여기서 생깁니다.

2단계는 기계 번역(MT)입니다. 그 일본어 텍스트를 받아 영어를 만듭니다. 요즘 MT는 이 일을 정말 잘합니다. 입력이 깨끗하고 정확하다면요.

문제는 둘 사이의 접점입니다. 2단계가 받는 것은 오디오가 아니라 텍스트입니다. 1단계가 찍어 맞혔다는 것을 들을 수 없습니다. 잘못 들린 단어는 제대로 들린 단어와 똑같은 모습으로 도착하고, MT는 자기가 하도록 만들어진 일을 합니다. 유창하고 문법에 맞는 출력을 만드는 것이죠. 그 결과가 완벽하게 읽히면서 아무도 하지 않은 말을 뜻하는 문장입니다.

이 자료가 이런 시스템이 맞춰진 오디오보다 어려운 이유는?

음성 인식은 방송, 강의, 회의 오디오로 주로 학습되고 평가되는데, 성인 영상은 그 자료가 담고 있는 전제를 거의 전부 깨뜨리기 때문입니다.

  • 말이 겹칩니다. ASR은 발언 순서가 오간다는 전제로 만들어져 있습니다. 동시에 말하면 한쪽 대사로 뭉개지거나 둘이 섞인 결과가 나옵니다.
  • 오디오의 상당 부분이 말이 아닙니다. 숨소리와 발성이, 시스템이 단어를 기대하는 음향 공간을 차지합니다. 그리고 말을 찾도록 편향된 시스템은 말을 찾아냅니다.
  • 녹음 조건의 편차가 큽니다. 손으로 들고 찍거나 마이크 하나로 녹음한 환경은 방송 기준보다 한참 낮은 음성 대 잡음 비를 만듭니다.
  • 문맥 창이 빈약합니다. MT는 주변 문장을 써서 중의성을 풉니다. 그런데 여기 대사는 짧고 고립된 감탄이 많아서, 대조해볼 주변 텍스트가 거의 없습니다.
  • 일본어는 주어를 생략합니다. 문법적으로 온전한 일본어 문장도 누가 말하는지, 누구에게 말하는지, 가리키는 대상이 단수인지를 자주 빠뜨립니다. 영어는 대명사를 요구하므로 번역기는 그것을 지어내야 하고, 그럴듯한 기본값을 골라 완전한 자신감으로 적어놓습니다.
  • 경어와 말투에는 영어에 들어갈 자리가 없습니다. 말의 높낮이가 실어 나르던 관계 정보는 가장 먼저 사라지는 것 가운데 하나입니다.

이 가운데 어느 것도 더 좋은 번역 모델로 해결되지 않습니다. 어느 것도 번역의 문제가 아니기 때문입니다.

어떤 오류를 예상해야 하고, 각각은 얼마나 나쁜가?

오류는 어느 단계에서 나왔느냐로 깔끔하게 갈리고, 그것이 되살릴 수 있는 정도를 결정합니다.

오류 유형 발생 단계 화면에서 보이는 모습 이해에 미치는 영향
말이 아닌 소리 위에 지어낸 대사 ASR 아무도 말하지 않는 곳에 대사가 뜸 낮음 — 티가 나서 무시하기 쉬움
잘못 들린 단어가 유창하게 번역됨 ASR 장면에 맞지 않는 문법적인 문장 높음 — 보이지 않고, 그럴듯함
이름이 평범한 단어로 바뀜 ASR 사람 이름이 비슷한 소리의 명사로 대체됨 중간 — 헷갈리지만 알아챌 수 있음
대명사의 성·수가 틀림 MT 같은 사람이 "그"와 "그녀"를 오감 중간 — 거슬리지만 대개 유추 가능
경어와 말투가 납작해짐 MT 모두가 똑같이 중립적인 어조로 말함 중간 — 관계의 결이 통째로 사라짐
관용구가 직역됨 MT 단어별로 옮겨져 아무 뜻도 없음 낮음 — 말이 안 된다는 게 보임
말장난과 언어유희 MT 직역되거나 엉뚱한 것으로 바뀜 높음 — 농담이 그냥 사라짐
겹친 말이 한 줄로 줄어듦 ASR 더 큰 목소리만 나옴 중간 — 주고받음이 사라짐

영향이 "높음"인 두 줄에는 공통점이 있습니다. 자막만 봐서는 알아챌 수 없다는 것입니다. 나머지는 전부 스스로 정체를 드러냅니다. 잘못 들린 단어가 유창한 영어로 옮겨진 경우만은 그러지 않고, 그래서 가장 중요합니다.

언제 믿어도 되고, 언제 믿지 말아야 하나?

흐름과 상황에는 믿고, 의미가 무게를 지는 지점에서는 믿지 마시기 바랍니다.

믿고 써도 되는 것:

  • 누가 있고, 무슨 일이 일어나고, 장면이 어떻게 흘러가는지 따라가기
  • 동의, 거절, 망설임 같은 큰 감정의 결
  • 문맥 덕분에 의미가 중복되는 반복적이고 정형화된 주고받음
  • 이 장면이 내가 찾던 것인지 판단하기

의심할 만한 것:

  • 줄거리의 핵심이나 관계, 설정을 드러내는 것처럼 보이는 대사
  • 이름, 지명, 브랜드, 레이블 언급
  • 농담이나 말장난으로 제시된 것
  • 말이 겹치거나 배경 소음이 심한 구간의 대사
  • 사람들 사이의 관계가 중요할 때, 공손함과 말투의 단서
  • ASR이 곧잘 잘못 인식하는 숫자와 시각

실무적인 규칙은 이렇습니다. 자막 한 줄이 장면 전체에 대한 이해를 바꿔놓는다면, 검증되지 않은 것으로 취급하십시오. 진짜 줄거리 정보는 다시 언급되거나 화면으로 보여지는 편입니다. 딱 한 번, 한 줄로만 나타나고 다시 나오지 않는 폭로는 각본의 요소라기보다 파이프라인이 만든 부산물일 가능성이 큽니다.

자막 트랙을 빠르게 판단하려면?

처음 몇 분을 아래 다섯 가지로 점검해보면 그 트랙의 등급은 금세 드러납니다.

점검 항목 나쁜 트랙이 보이는 모습
침묵이나 말이 아닌 소리 구간에 대사가 뜨는가? 그렇다, 자주
사람 이름의 표기가 매번 같은가? 아니다 — 흔들리거나 보통명사가 된다
한 사람에 대한 대명사가 일관되는가? 아니다 — 줄마다 뒤바뀐다
대사 길이가 하나같이 짧고 비슷한가? 그렇다 — 자동 분할
관용구가 말도 안 되는 직역으로 읽히는가? 그렇다 — 관용적으로 다시 쓰지 않는다

이 가운데 두 가지 이상이 걸리면 자동 파이프라인의 출력물을 보고 있는 것이고, 품질은 뒤로 갈수록 나아지지 않습니다. 남은 한두 시간 동안 개별 대사에 얼마나 무게를 실어야 할지 알려주므로, 처음에 알아두면 좋습니다.

관련 질문

자막이 있는 작품을 아예 취급하는 사이트인지부터 편차가 큽니다. 저희가 색인한 목록은 사이트 목록에서 확인하실 수 있습니다.