Webサイト運営において、robots.txtは非常に重要です。
robots.txtは、検索エンジンのクローラーに、サイトのどのページをインデックスしてよいかを指示するファイルです。
今回の記事では、
- robots.txtの役割
- 設定方法
- 注意点
- よくある質問
までわかりやすく解説します。
robots.txtとは？
robots.txtは、Robots Exclusion Protocolの略称です。
検索エンジンのクローラーに、サイトのどのページをインデックスしてよいかを指示するテキストファイルです。
robots.txtは、サイトのルートディレクトリに配置されます。
robots.txtの役割
robots.txtの役割は以下のとおりです。
- 検索エンジンにインデックスさせたくないページを指定します。
- クローラーのアクセス負荷を軽減します。
インデックスさせたくないページを指定する
robots.txtを使って、以下のようなページをインデックスさせないようにすることができます。
- テストページ
- プライバシーポリシー
- 利用規約
- ログインページ
- 重複コンテンツ
クローラーのアクセス負荷を軽減する
robots.txtを使って、クローラーがアクセスできるページ数を制限することで、
robots.txtの設定方法
robots.txtは、テキストエディタを使って作成することができます。
robots.txtファイルには、以下の記述が必要です。
- User-agent: クローラーの名前
- Disallow: インデックスさせたくないページのURL
例：
User-agent: *
Disallow: /test/
Disallow: /privacy/
Disallow: /terms/
Disallow: /login/
上記の例では、すべてのクローラーに対して、/test/、/privacy/、/terms/、/login/ ディレクトリ以下のページをインデックスさせないように設定しています。
robots.txtの注意点
robots.txtを設定する際には、以下の点に注意が必要です。
- 誤った設定をすると、重要なページがインデックスされない可能性があります。
- robots.txtは、すべての検索エンジンに対応しているわけではありません。
誤った設定
robots.txtの設定を誤ると、重要なページがインデックスされない可能性があります。
例えば、誤ってサイト全体のアクセスを禁止してしまうと、検索結果からサイトが消失してしまう可能性があります。
対応していない検索エンジン
robots.txtは、すべての検索エンジンに対応しているわけではありません。
そのため、robots.txtを設定しても、一部の検索エンジンではサイトがインデックスされる可能性があります。
robots.txtのよくある質問
robots.txtファイルがない場合はどうなる？
robots.txtファイルがない場合は、検索エンジンはサイト内のすべてのページをインデックスしようとします。
robots.txtファイルの変更を反映するにはどうすればよい？
robots.txtファイルを変更した場合は、検索エンジンにキャッシュをクリアさせる必要があります。
robots.txtファイルのテスト方法
robots.txtファイルのテストには、Google Search Consoleの「URL検査」ツールを使うことができます。
