目的
- 検索エンジンのクローラーに、新規ページの存在や更新したページの情報をインデックスさせたい。
解説
- まずはXMLサイトマップを作り、それをルートディレクトリー(最上位階層)にアップロードします。
- アップロードすると、新規ページの存在や更新したページの情報がクローラーへ伝わりやすくなります。
robots.txt
User-agent: *
Disallow:
Sitemap: https://note-book.foo/sitemap.xml
Sitemap: https://note-book.foo/news.xml- クローラーにサイトマップの場所を伝えるだけなら1行目と2行目の記述は不要です。ただし「クローラーのアクセスを全て許可する」という命令を明示するために備忘録として残しています。
- サイトマップの場所は絶対パスで書く必要があります。
- 複数のサイトマップを作った場合は3行目と4行目のように1行ずつ書きます。
- 拡張子はSitemap: https://note-book.foo/sitemap.txtとテキストファイルでもOKです。その際はURLを絶対パスで1行ずつ書きます。ただし、更新日時や優先度などを入れられるXMLファイルがオススメです。