robots.txt

解説

robots.txtは、サイトの最上位（例：/robots.txt）に置くテキストファイルで、クローラーに巡回してよいURLと巡回しないでほしいURLを伝えます。robots.txtの書き方は、Robots Exclusion Protocolとして、IETFのRFC 9309（2022年9月発行）で標準化されています。ヘルプセンターでは、検索結果のページや管理画面など、巡回させる必要のないURLを指定する目的で使います。

仕組み

robots.txtには、クローラーの名前ごとに、巡回を許可するパスと禁止するパスを書きます。

• user-agent：規則を適用するクローラーの名前
• disallow：巡回を禁止するパス
• allow：巡回を許可するパス

クローラーは、サイトを巡回する前にrobots.txtを読み、書かれた規則に従って巡回するURLを決めます。ただし、RFC 9309は、robots.txtの規則はアクセスの認可ではないとしています。

実務での使われ方

Googleは、robots.txtを主にクローラーによるサーバーへの負荷を管理するためのものと説明しています。たとえば、並び替えや絞り込みで無数に生まれるURLを巡回の対象から外すと、重要な記事の巡回を妨げずに済みます。

注意点

robots.txtは、ページを検索結果から外す仕組みではありません。Googleは、robots.txtでブロックしたURLも、説明文のない形で検索結果に表示される場合があるとしています。検索結果から外したいページには、既存の用語「noindex」の指定を使います。ただし、robots.txtで巡回を禁止すると、クローラーはnoindexの指定を読めません。

また、非公開の情報は、robots.txtではなく認証で守ります。すべてのクローラーがrobots.txtに従うとは限らないためです。さらに、robots.txtは誰でも読めるため、非公開のURLを書くと、かえって場所を知らせることになります。

なお、「llms.txt」は、AIにサイトの概要や主要なページを伝えるためのファイルであり、巡回の可否を伝えるrobots.txtとは目的が異なります。