robots.txt

robots.txt

	検索エンジンのクローラーのアクセスを拒否するサイト全体および特定のページへのアクセス可否を伝えるテキストファイルです。開発中のテストサイト、既存サイトの管理ページ、検索結果と無関係のページのインデックス防止に役立ちます。
	検索エンジンのクローラーにサイトマップの存在を知らせる新規ページの存在や更新したページの情報がクローラーへ伝わりやすくなります。