Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。
歴史 "robots.txt" は、1994年ごろWebCrawlerという検索エンジンで働いていた Martijn Koster が考案したとされている。1994年6月に [email protected] というメーリングリストのメンバーが合意して生まれたA Standard for Robot Exclusion。"robots.txt" はその翌年AltaVistaなどの検索エンジンが登場すると共に一般化していった。
2007年11月30日、ACAP (Automated Content Access Protocol) v1.0 が Robots Exclusion Standard を補完するものとして登場したInformation ACAP。ただしGoogleなど主要検索エンジンは、その採用を表明していない。
2019年、GoogleがIETFでの標準化を進めることを発表し、2022年9月、として提案された。
概要 ウェブサイトの所有者がボットに対して指示したい場合、そのウェブサイトの階層のルートに robots.txt というテキストファイルを置く（例えば、www.example.com/robots.txt）。サイト側の指示に従う選択をしているボットは、まずこのファイルにアクセスし、その指示を読み込んで、それに従ってそのウェブサイトの他のファイルの読み込みを行う。このファイルがない場合、ボットはそのサイトの所有者が特に何も指示していないと判断する。
robots.txt はボットに対して特定のファイルやディレクトリを検索しないよう指示する。これは例えば、検索エンジンからプライバシーに関わる情報を守る場合、指定したファイルやディレクトリの内容がサイトの分類をする際に誤解を与える虞がある場合、特定のアプリケーションのみが読み込むことを意図したデータの場合などがある。
下位ドメインがあるウェブサイトでは、各下位ドメインごとに robots.txt ファイルが必要である。example.com に robots.txt があっても、a.example.com になければ、example.com の robots.txt の内容は a.example.com には適用されない。
欠点 このプロトコルは全く拘束力がない。あくまでもボット側が協力することが前提であり、robots.txt で指定したからといってプライバシーが保たれることを保証するものではない。robots.txt で見られたくないファイルを指定したとしても、ウェブブラウザを使えば世界中の誰でもそのファイルを閲覧できる。また、このプロトコルを無視するボットを運用することも可能である。
なお、robots.txt に書かれたパターンは単純にパス名の部分と一致するかどうかで判断されるため、ディレクトリを指定する場合は最後に '/' を付けておかないと同じ文字列を含む任意のファイルとマッチする可能性がある。
例 ワイルドカード "*" を指定した例。あらゆるボットが全ファイルを走査できる。
あらゆるボットが全ファイルを走査できないようにした例。
あらゆるボットが4つのディレクトリ配下を見ないよう指定した例。
特定のクローラが特定のディレクトリ配下に行かないよう指定した例。
あらゆるボットが特定のファイルを見ないよう指定した例。
この場合、そのディレクトリ配下の他のファイルはボットから隠蔽されない。
"#" からその行末まではコメントとして扱われる。
規格外の拡張 Crawl-delay ディレクティブ いくつかの主要なクローラは Crawl-delay というパラメータをサポートしている。同一サーバに要求を繰り返す場合に指定された時間だけ待つよう指示するものである。
Allow ディレクティブ いくつかの主要なクローラは Allow ディレクティブをサポートしており、それに続く Disallow ディレクティブの逆の作用をする。これは、あるディレクトリ全体を隠蔽したいが、その中の一部ファイルだけは隠蔽したくないという場合に使う。標準的実装では常に先に書いてあるディレクティブが優先されるが、Googleは Allow のパターンを全て先に評価し、その後 Disallow のパターンを評価する。Bing は Allow も Disallow も最も具体的なものを優先する。
あらゆるボットで互換な動作にするには、あるファイルへのアクセスを許す Allow ディレクティブを先に書き、そのファイルを含むディレクトリについての Disallow ディレクティブを後に書く。以下に例を挙げる。
この場合、/folder1/ というディレクトリの /folder1/myfile.html というファイル以外は隠蔽する。Googleに対しては順序は重要ではない。
Sitemap ディレクティブ 一部のクローラは Sitemap ディレクティブをサポートしており、1つの robots.txt の中で複数のSitemapsを指定できる。
拡張規格 Extended Standard for Robot Exclusion と題してRESの拡張規格が提案されている。追加されたディレクティブとしては Visit-time や Request-rate がある。例えば次のようになる。
脚注・出典
関連項目 インターネットアーカイブ ウェブアーカイブ クローラ
外部リンク Robots Exclusion（英語） Robots Exclusion Protocol robots.txt の概要: Google Search Console ヘルプ Manual:robots.txt/ja: MediaWikiのマニュアル内のrobots.txtに関するページ List of Bad Bots - RESに従わないボットやクローラの一覧 About Robots.txt and Search Indexing Robots Robots.txt is not a security measure History of robots.txt - チャールズ・ストロスがrobots.txtの誕生に関わったという内容の日記（元になったスラッシュドットでのコメントは）（英語） 具体例 ja.wikipedia.org の robots.txt