クローリング

解説

クローリングは、クローラーと呼ばれるプログラムがリンクをたどってWebページを巡回し、内容を収集することです。収集された内容がインデックスに登録され、検索結果に出るようになります。

リンクが乏しいページは巡回されずに残る

ページ数が多いサイトでは、すべてのページが巡回されるとは限りません。トップから深い階層にあるページや、どこからもリンクされていないページは見つけられにくくなります。

巡回されやすくするには、次のような手当てがあります。

• XMLサイトマップを用意して検索エンジンに知らせる
• サイト内の一覧ページからすべての記事へリンクする
• 関連する記事どうしをリンクで結ぶ