llms.txt

解説

llms.txtは、大規模言語モデル（LLM）を使うAIに向けて、サイトの概要と読んでほしいページの所在を伝えるためのファイルです。2024年9月3日に、Answer.AIのJeremy Howard氏が提案しました。

仕組み

llms.txtは、サイトのルート（例：https://example.com/llms.txt）に配置します。仕様上は、/docs/llms.txt のようにサイト内の下位のパスに置くこともできます。ファイルはMarkdownで書き、H1でサイト名を示し、引用ブロックで概要を書き、H2で区切ったリンク一覧を並べる構成をとります。

robots.txtは、クローラーに対してどこを巡回してよいかという許可の範囲を伝えるファイルです。一方で、llms.txtは、読んでほしい情報がどこにあるかを指し示します。さらに、サイトマップが全ページを網羅的に列挙するのに対して、llms.txtは主要なページに絞って短く書く点でも性格が異なります。

注意点

llms.txtは、IETFやW3Cなどの公式な標準ではなく、コミュニティ主導の提案にとどまっています。提案は意見を募りながら改訂されています。さらに、Googleは検索セントラルのガイドで、Google検索（生成AI機能を含む）自体はllms.txtのようなファイルを使用しておらず、Google検索に表示されるために作成する必要はないと説明しています。したがって、llms.txtを設置すれば検索やAIの回答で参照されるとは言えません。

ただし、同じガイドでは、llms.txtを使う他のサービスやシステムのために作成・維持することは問題ないとしています。そのため、導入を検討する場合は、効果を見込んだ投資としてではなく、低い費用で試せる実験として位置づけるのが現実的です。

出典

• The /llms.txt file（llms-txt）