일반론으로 검색이 가장 좋은 플랫폼 같은 건 없습니다. 이 바닥의 검색 엔진들은 서로 다른 축에서 무너지고, 그중 어느 실패가 나를 괴롭히는지는 내가 어떻게 검색하는지에 전적으로 달려 있으니까요. 가질 값어치가 있는 답은 내가 직접 재본 답입니다. 실제로 찾는 작품들로, 20분쯤 들여서요.

아래는 그 테스트의 설계, 그리고 더 중요한 것으로 결과를 읽는 법입니다. 못 찾았다는 사실 하나가 전혀 다른 세 가지를 뜻할 수 있고, 그것들을 뭉뚱그리는 바람에 "X 사이트는 검색이 구리다"는 말이 대개 틀리게 됩니다.

저희는 이 벤치마크를 플랫폼 전반에 걸쳐 직접 돌려보지 않았기에, 이 글에는 점수가 없습니다. 대신 내 사용 방식에 유효한 점수를 스스로 만들어내는 방법을 담았습니다. 옮겨 쓸 수 있는 버전은 그것뿐입니다.

이 테스트는 실제로 무엇을 하는 것인가?

존재를 이미 아는 품번 10~20개를 골라, 하나씩 각 플랫폼 검색에 넣고, 무엇이 돌아왔는지와 몇 단계가 걸렸는지를 적습니다.

개수보다 구성이 중요합니다. 최근 대형 제작사 신작만으로 세트를 짜면 모든 플랫폼이 훌륭하다는 결론이 나옵니다. 그건 어느 엔진이든 처리하는 쉬운 경우니까요. 어려운 경우들이 들어가도록 세트를 짜세요.

테스트 항목 유형 몇 개 무엇을 찔러보나
최근 대형 제작사 작품 3 기준선 — 어디서든 성공해야 함
나온 지 5년 이상 된 작품 3 카탈로그와 색인이 구작을 붙들고 있는지
소규모·틈새 레이블 3 주류 바깥의 커버리지
품번이 아니라 배우 이름 2 인물 기준 색인과 예명 처리
일본어 표기 제목을 그대로 입력 2 색인이 원문 제목 텍스트를 갖고 있는지
품번 없이 로마자 제목만 2 음차 표기가 색인돼 있기는 한지

항목마다 세 가지를 기록하세요. 맞는 결과가 나왔는지, 상위 몇 개 안에 있었는지 아니면 파묻혀 있었는지, 그리고 검색창에서 작품 페이지까지 클릭이 몇 번 걸렸는지. 세 번째 항목을 다들 잊는데, 매일 쓸 때 플랫폼 간 차이가 가장 눈에 띄게 드러나는 지점이 바로 그것입니다.

이 테스트가 실제로 겨냥하는 실패 유형은 무엇인가?

가지고 있는 작품을 엔진이 못 찾게 만드는 구조는 다섯 가지입니다. 각각 다른 증상을 남기고, 그래서 이 테스트는 단순한 점수판이 아니라 진단이 됩니다.

품번 정규화. 품번은 업계에서도 인터넷에서도 제각각으로 적힙니다. 하이픈이 있기도 없기도, 앞자리 0이 붙기도 안 붙기도, 제작사 접두어가 있기도 없기도 하죠. 엔진은 내가 친 문자열을 내부 형식으로 정규화하거나, 하지 않거나 둘 중 하나입니다. 이 구조 하나가 "한쪽 사이트에서는 되는데 다른 쪽에서는 안 된다"는 제보의 대부분을 설명합니다.

표기 체계와 음차. 제목은 일본어 텍스트로 존재하고, 영어권 이용자는 로마자를 칩니다. 그 로마자가 걸리느냐는 플랫폼이 그것을 저장해두었는지, 그리고 누구의 음차 방식을 저장했는지에 달려 있습니다. 정답인 음차 하나가 존재하지 않기 때문에, 이 실패는 소리 없이 자주 일어납니다.

예명 처리. 배우는 예명을 바꿉니다. 예명을 모델링한 색인은 어느 이름으로 찾아도 경력 전체를 돌려주지만, 이름 필드가 평면인 색인은 마침 내가 친 쪽의 절반만 돌려줍니다.

매칭 엄격도. 정확 일치 엔진은 살짝 어긋난 입력에 아무것도 돌려주지 않습니다. 퍼지 매칭 엔진은 무엇에든 뭔가를 돌려주는데, 정답이 아예 없을 때도 그렇습니다. 그건 다른 종류의 실패이고, 성공처럼 보인다는 점에서 오히려 더 나쁜 실패입니다.

커버리지. 그 작품이 그냥 그 카탈로그에 없는 경우입니다. 이건 검색 실패가 전혀 아니고, 이걸 검색 실패로 세는 것이 이런 비교에서 가장 흔한 오류입니다.

검색이 못 찾은 것과 아예 없는 것을 어떻게 구별하나?

그 작품을 가지고 있다고 이미 아는 다른 플랫폼에서 같은 품번을 교차 확인합니다. 거기서 찾아진다면 첫 번째 플랫폼은 그 작품이 없거나 내 질의를 매칭하지 못하는 것이고, 한 번 더 테스트하면 그 둘이 갈립니다.

같은 작품을 다른 손잡이로 검색해보세요. 배우 이름, 제작사의 시리즈명, 제목 속의 특징적인 단어 같은 것 말입니다. 그 경로로 작품이 나온다면 카탈로그에는 있는 것이고 망가진 쪽은 품번 조회입니다. 어떤 경로로도 안 나온다면 커버리지 문제이고, 검색 품질이 아무리 좋았어도 소용없었을 일입니다.

증상 엔진에 대해 무엇을 말해주나
하이픈을 넣으면 실패하고 빼면 성공 입력 정규화 없음 — 내부 형식에 내가 맞춰야 함
맞는 결과가 나오지만 무관한 작품들보다 아래에 있음 매칭은 되고, 관련도 순위가 약함
배우 이름으로 알려진 필모그래피의 일부만 나옴 예명 처리가 없거나 불완전함
일본어 제목은 되는데 로마자는 아무것도 안 나옴 원문 표기만 색인돼 있음
아무 말이나 넣어도 그럴듯한 결과가 나옴 신뢰도 하한 없는 퍼지 매칭 — 모든 결과를 의심하며 볼 것
품번으로도 이름으로도 키워드로도 안 나옴 검색 실패가 아니라 커버리지 문제
결과는 찾았지만 도달까지 네 번 넘게 클릭 검색 품질이 아니라 탐색 비용 — 그래도 기록해둘 값어치 있음

말이 안 되는 질의에 관한 줄은 따로 강조할 만합니다. 존재할 수 없는 품번, 그러니까 아무 접두어에 아무 숫자를 붙여 쳐보세요. 거기에 자신만만한 결과를 내놓는 엔진은 진짜 질의의 정답이 없을 때도 똑같이 굴 것이고, 나는 그 두 상황을 구분할 수 없게 됩니다.

검색이 형편없는 플랫폼은 어떻게 다뤄야 하나?

플랫폼을 바꾸기 전에 질의 형식을 바꿔보세요. 이런 실패의 대부분은 내 쪽에서 고칠 수 있습니다.

  • 품번의 모든 변형을 시도합니다. 하이픈 있게, 없게, 앞자리 0을 넣고 빼고, 접두어만. 세 번 시도해봐야 10초이고, 가장 흔한 실패는 그걸로 풀립니다.
  • 제목 대신 배우를 검색합니다. 인물 기준 탐색은 품번 정규화를 통째로 우회합니다.
  • 일본어 원문이 있으면 그것을 씁니다. 로마자를 타이핑하지 말고 데이터베이스 항목에서 복사해 붙여 넣으세요.
  • 제목 전체가 아니라 특징적인 부분 문자열을 검색합니다. 긴 정확 문자열은 글자 하나만 달라도 실패하지만, 드문 조각은 대개 그렇지 않습니다.

작업할 텍스트가 아예 없다면 — 스크린샷 한 장뿐이라면 — 어느 플랫폼의 검색창도 알맞은 도구가 아닙니다. 전부 내가 가지고 있지 않은 문자열을 요구하니까요. 그건 방법이 다른 별개의 문제입니다. 스크린샷 한 장으로 영상 찾기를 보세요.

내가 얻은 결과는 어떻게 해석해야 하나?

이 테스트는 순위가 아니라 프로필로 읽으세요. 원하는 산출물은 "A 플랫폼은 구작을 잘 다루지만 배우 이름을 망가뜨리고, B 플랫폼은 그 반대다" 같은 문장입니다. 그래야 어떤 종류의 검색에 어느 쪽을 열어야 할지 알 수 있고, 사람들이 여러 플랫폼을 실제로 쓰는 방식이 그렇습니다.

솔직히 밝혀둘 한계가 둘 있습니다. 15개 항목은 진단용 표본이지 통계 표본이 아니므로 비율로 환산하지 마세요. 그리고 테스트 세트는 내 관심사에서 뽑은 것이므로 결과는 나에게 유효할 뿐 일반화되지 않습니다. 어디선가 발표된 보편 순위가 나에게 도움이 되지 않았을 이유가 바로 그것입니다.

관련 질문

저희가 색인하는 플랫폼과 각각이 무엇을 다루는지는 사이트 목록에 정리돼 있습니다.