【カンタン解説】llms.txtとは
2025年 7月 9日 Posted 遠藤(フロントエンドエンジニア)
最近ChatGPTなどの大規模言語モデル(LLM)が爆発的に普及しています。
ChatGPTのようなAIは、インターネット上のたくさんの情報を読み込んで学習していますが、膨大なHTMLデータを解析するのは複雑で正確に理解することが困難という問題を抱えていました。
そこでAIにWebサイトの内容を正確に伝えるための手段として登場したのが 「llms.txt」 という新しい仕組みです。
今回は「llms.txt」 についてカンタンに説明します。
* llms.txtは2025年5月時点ではまだ発展途上で標準仕様やフォーマットが定まっていないため、情報が錯綜(さくそう)している状態です。あくまでも2025年5月時点でのまとめになります。
llms.txtとは
カンタンにまとめると以下になります。
- Large Language Model Specification Textの略
- llms.txtは、AIに「うちのWebサイトにはこういう情報があるよ、ここを見てね」と直接伝える説明書のようなファイル
- 検索エンジン向けのrobots.txtに似た役割をするが、対象がAIである点が特徴
- 2024年9月にJeremy Howard氏(Answer.AIの共同創設者)によって提案された
【参考】The /llms.txt file – llms-txt
なぜ必要なのか
AIがWebサイトから情報を取得しようとしたとき、HTMLページを解析するにあたって、メニュー、広告、JavaScriptなどのAIにとって余計な要素によって処理が複雑になり、必要な情報を取り出しにくいという問題がありました。
そこでAIに正しい情報をダイレクトに伝えるためにllms.txtが登場しました。
構成
llms.txtとllms-full.txtの二つの形式で構成されています。
llms.txt:Webサイトの概要情報と構造を提供する主要な情報だけをまとめた簡潔なファイル
llms-full.txt:Webサイトのより詳細な情報をまとめたファイル
llms.txtとllms-full.txtはどちらを提供すればいい?
それぞれ役割が違うので両方用意できる場合は併用が望ましいと思われます。
- LLMはまず llms.txt を読み込み、全体像を把握
↓
詳細な情報が必要になったとき llms-full.txt を参照する
といった流れが想定されます - 検索性能や質問応答の質が高くなる可能性がある
記述形式
マークダウン形式で記述します。
設置方法
Webサイトのルートディレクトリーに設置します(robots.txtやsitemap.xml同様)。
記述内容
llms.txtの主な記述内容は以下になります。
- H1見出し:Webサイト名やプロジェクト名を書きます(必須)。
- 要約(引用ブロック):サイトの概要や特徴を簡潔に説明します。
- H2見出し:ドキュメント、製品、FAQなど、情報を論理的にグループ化し、それぞれにリンクと簡単な説明を付けます。
- オプションセクション:重要度の低いリソースや補足情報を記載する場合に使用します。
マークダウンであらわすと以下になります。
#Webサイト名
> Webサイトの簡単な説明
Webサイトプロジェクトに関する追加情報
## セクション名
- [リンクタイトル](URL): リンクの説明
## Optional
- [追加リソース](URL): リンクの説明
上記が提案者によって紹介されている内容ではありますが、H1見出し以外の記述は自由になっています(現時点ではフォーマットが定まってなく、自由度が高いです)。
導入のメリット
- AIによる正確な情報理解:AIがWebサイトの構造や重要なコンテンツを迅速に把握できるようになると想定されます。
- AI検索における表示機会の増加:AIがコンテンツを適切に理解・評価しやすくなり、AIによる検索結果での表示機会が増加する可能性が高まると想定されます。
課題や懸念点
- 効果測定が難しい(効果が不明)
- 効果を測るための指標やツールはまだ確立されていない
- AIがどの情報源をどのように利用して回答を生成したのか、正確に知ることが難しい
- 施策の効果が現れるまでの時間が不明
- まだ発展途上で標準仕様やフォーマットが定まっていない(標準化されていない)
正式なルールが決まっていないため、情報は錯綜している状況です。
今後変更される可能性もあります。 - 主要AI企業のサポートもまちまちで消極的な姿勢を示している企業もある
【参考】GoogleはLLMs.Txtをキーワードメタタグと同等と評価
その他
- 各ページのマークダウンで記述したバージョンを.md拡張子を追加して提供することも推奨されています(例:page.html.md)。
- ジェネレーターなどのツールも出始めています。
まとめ
llms.txtはまだ新しい仕組みですが、AIに正しい情報をダイレクトに伝えることができます。
今後、ますます広がっていくことが予測されます。
まだまだ発展途上ではありますので、今後の動向を見守り、WebサイトがAIにとっても分かりやすいWebサイトになるように早めに準備しましょう。