クローリング

解説

クローリングは、検索エンジンなどのプログラムがWeb上のページを巡回し、テキストや画像などの内容を取得する処理です。巡回するプログラムは、クローラーと呼ばれます。Googleは、検索の仕組みを、クローリング、インデックス登録、検索結果の表示の3段階で説明しています。

仕組み

Googleのクローラーは、主に次の方法で新しいページのURLを見つけます。

• すでにクロールしたページに含まれるリンクをたどる
• サイト運営者が送信したXMLサイトマップを読み込む

クローラーが取得したページは、次のインデックス登録の段階で内容が解析され、データベースに保存されます。ただし、Googleは、ガイドラインに沿ったページであっても、クロールやインデックス登録、検索結果への表示を保証しないとしています。

実務での使われ方

リンクが乏しいページは、クローラーに巡回されないまま残ることがあります。ページ数が多いヘルプセンターやFAQサイトでは、すべてのページが巡回されるとは限りません。たとえば、トップページから深い階層にあるページや、どこからもリンクされていないページは、クローラーに見つけられにくくなります。

巡回されやすくするには、次のような対策があります。

• XMLサイトマップを用意して検索エンジンに知らせる
• サイト内の一覧ページからすべての記事へリンクする
• 関連する記事どうしをリンクで結ぶ

Googleも、規模が大きく内部リンクを網羅しにくいサイトなどでは、サイトマップが役立つとしています。ただし、サイトマップに載せたURLが、すべてクロールされるとは限りません。