ストップワード

解説

ストップワードは、あまりに一般的で文書を区別する手掛かりにならないため、検索の対象から除外する語です。日本語では「の」「を」「する」「ある」、英語では「the」「a」「of」などがストップワードにあたります。

仕組み

ストップワードは、どの文書にも同じように現れます。そのため、検索システムがストップワードを索引に含めると、処理の負荷が増えるうえに、ほとんどの記事がヒットして記事ごとのスコアに差がつかなくなります。したがって、検索システムは、索引を作る段階や検索語を処理する段階で、ストップワードを除外します。

注意点

ストップワードを除外しすぎると、ストップワードだけで成り立つ検索がゼロ件になります。たとえば、英語の「To be or not to be」のような慣用句は、「to」や「be」を除外すると本来の意味が失われます。また、製品名に一般的な語が含まれている場合は、その語を除外対象から外すことを検討します。

なお、情報検索の教科書『Introduction to Information Retrieval』は、情報検索システムが、大きなストップワードの一覧を使う方式から、一覧を使わない方式へ移ってきたと説明しています。