一般論として検索が最優秀なサイトは存在しません。この分野の検索エンジンは、それぞれ違う軸で失敗するからです。そしてどの失敗が痛いかは、あなたがどう検索するかで完全に決まります。持つ価値のある答えは、自分で測った答えです。実際に探しているタイトルを使って、20分ほどで出せます。

以下はテストの設計と、それ以上に大事な結果の読み方です。ヒットしないことには3つのまったく違う意味があり、それを混同していることが、「サイトXは検索が悪い」という主張のほとんどが的外れである理由です。

当サイトはこのベンチマークをサイト横断で実施していないため、この記事は点数を出しません。出すのは、あなた自身の使い方について有効な点数を生む手順です。持ち運べるのはそちらだけです。

このテストは具体的に何をするのか？

存在すると分かっている品番を10件から20件用意し、それぞれを各サイトの検索に流し、何が返ってきたか、そこまで何手かかったかを記録します。

件数より構成が重要です。最近の大手メーカー作品ばかりでセットを組むと、どのサイトも優秀だという結論になります。それはどのエンジンでも処理できる簡単な場合だからです。難しい場合を入れて組んでください。

テスト項目の種類 件数 何を見るか
最近の大手メーカー作品 3 基準線——どこでも成功するはず
5年以上前の作品 3 カタログと索引が過去の作品を残しているか
中小・ニッチなレーベル 3 主流の外側での収録範囲
品番ではなく女優名 2 人物を軸にした索引と別名義の扱い
日本語表記のタイトルをそのまま入力 2 索引が原語のタイトル文字列を持っているか
品番なしのローマ字タイトル 2 そもそもローマ字表記が索引されているか

それぞれについて3つを記録します。正しい結果が出たか、それが最初の数件に入っていたか埋もれていたか、検索ボックスから作品ページまで何クリックかかったか。3つ目は忘れられがちですが、日々の使い勝手でサイト間の差がいちばん目に見えて出るのはここです。

実際に何の失敗を切り分けようとしているのか？

持っているはずの作品をエンジンが取りこぼす仕組みは、5つあります。それぞれ症状が違い、だからこそこのテストは単なる採点表ではなく診断になります。

品番の正規化。 品番は業界内でもインターネット上でも書き方が揃っていません。ハイフンあり、なし、先頭ゼロあり、メーカーの接頭辞あり・なし。エンジンはあなたが打った文字列を内部の形式へ正規化するか、しないかのどちらかです。「あるサイトでは通るのに別のサイトでは通らない」という報告の大半は、この1つの仕組みで説明がつきます。

文字体系と翻字。 タイトルは日本語のテキストとして存在し、英語圏の読者はローマ字表記を打ちます。それが一致するかどうかは、サイトがローマ字表記をそもそも保存しているか、そして誰の方式のローマ字表記を保存しているかで決まります。唯一正しい翻字というものは存在しないので、これは静かに、そして頻繁に失敗します。

別名義の扱い。 女優は芸名を変えます。別名義をデータとして持つ索引はどちらの名前でもキャリア全体を返しますが、名前の項目が1つしかない索引は、たまたま打ったほうの半分だけを返します。

一致の厳しさ。 完全一致のエンジンは、わずかにずれただけで何も返しません。あいまい一致のエンジンは何に対しても何かを返します。正解が存在しないときにも返す、というのは別の失敗であり、しかも成功のように見えるぶん、より悪い失敗だとも言えます。

収録範囲。 その作品がそのカタログに入っていない、というだけの話です。これは検索の失敗ではまったくなく、これを検索の失敗として数えることが、この種の比較でいちばん多い誤りです。

検索の取りこぼしと収録漏れは、どう見分けるのか？

同じ品番を、収録していると分かっている別のサイトで照合します。そちらで見つかるなら、最初のサイトは持っていないか、あなたのクエリに一致させられないかのどちらかであり、もう1つのテストでこの2つを分けられます。

同じ作品を別の手がかりで検索してください。女優名、メーカーのシリーズ名、あるいはタイトルのなかの特徴的な語です。その経路で作品が出てくるなら、カタログは持っており、壊れているのは品番での引き当てです。どの経路でも出てこないなら、それは収録漏れであり、検索の質がどれだけ高くても助けにはなりませんでした。

症状 エンジンについて分かること
ハイフンありの品番は失敗し、なしなら通る 入力の正規化がない——内部形式に合わせて打つ必要がある
正しい結果は出るが、無関係な作品より下に並ぶ 一致は効いている。関連度の順位づけが弱い
女優名で、既知の出演作の一部しか返らない 別名義の扱いがないか、不完全
日本語タイトルは通り、ローマ字表記では何も返らない 原語表記のテキストしか索引していない
でたらめなクエリを含め、どのクエリでもそれらしい結果が返る 信頼度の下限がないあいまい一致——すべての結果を疑ってかかること
品番でも名前でも語句でも何も見つからない 検索の失敗ではなく収録漏れ
結果は見つかるが、たどり着くのに4クリック以上かかる 検索の質ではなく導線のコスト——それでも記録する価値がある

でたらめなクエリの行は強調しておきます。存在しえない品番——適当な接頭辞と数字——を打ってみてください。それに対して自信ありげな結果を返すエンジンは、あなたの本物のクエリの答えが存在しないときにも同じことをします。そしてあなたはその2つの状況を見分けられません。

検索が下手なサイトに対して、何をすればいいのか？

サイトを変える前に、クエリの書き方を変えてください。ここに挙げた失敗の多くは、あなたの側で直せます。

  • 品番の書き方をひととおり試す。 ハイフンあり・なし、先頭ゼロあり・なし、接頭辞だけ。3回試すのに10秒しかかからず、いちばん多い失敗はそれで解決します。
  • タイトルではなく女優で検索する。 人物を軸にした導線は、品番の正規化を丸ごと迂回します。
  • 原語の日本語テキストがあるなら、それを使う。 ローマ字表記を打つのではなく、データベースの項目からコピー＆ペーストしてください。
  • タイトル全体ではなく、特徴的な部分文字列で検索する。 長い完全一致の文字列は1文字の違いで落ちますが、珍しい断片はたいてい落ちません。

そもそも手がかりになるテキストが何もない場合——スクリーンショット1枚しかない場合——は、どのサイトの検索ボックスも適切な道具ではありません。どれも、あなたが持っていない文字列を要求するからです。それは別の問題で、方法も別です。スクリーンショット1枚から作品を特定するを参照してください。

自分の結果はどう解釈すればいいのか？

このテストは順位ではなくプロフィールとして読んでください。欲しい出力は「サイトAは古い作品に強いが女優名は取りこぼす。サイトBはその逆」という形の文です。それが、どの種類の検索でどちらを開けばいいかを教えてくれるからで、実際に複数のサイトを使い分けるとはそういうことです。

正直に認めるべき限界が2つあります。15件は診断のためのサンプルであって統計的なサンプルではないので、割合に換算しないでください。そしてあなたのテストセットはあなた自身の関心から作られているので、結果はあなたにとって有効で、一般化はできません。公開された万能の順位表があってもあなたの役には立たなかっただろう、というのはまさにそういう理由です。

関連する疑問

当サイトが索引しているサイトと、それぞれの収録範囲はサイト一覧に載せています。