「robots.txt」とはWebサイトのファイル（ページやディレクトリ）の内容を認識する「クローラー」の動作をコントロールする際に記述するテキストファイルとなり、設定することでクローラーに巡回されないようにすることができます。巡回されないことで、対象のページなどをインデックスされにくくし検索から除外させることに繋がります。 LENSAhubでは基本設定の中の検索除外設定からrobots.txtの編集を入力することができます。 入力時のルールは一定のルールがあるため、下記によく使用されるパターンについて記載します。
ただし、「robots.txt」は「クローラー」の動作をコントロールする際に記述するテキストファイルであることから、入力間違いなどがあると、検索除外ができなかったり、除外したくないページを除外してしまうことにも繋がります。 基本的な入力例は以下に記載しますが、運営されているサイトでどのように設定をしたいかを確認し、入力してください。 ※入力した内容についてはインフォネットでは責任を負いかねますため、ご注意のもと設定してください。
※ディレクトリやページについては、上記記載にて「Disallow: ●●」を追加していくことで、対象のディレクトリやページを増やしていくことができます。 ※参考例の内容はあくまで代表的な検索除外を設定する際の記述になります。SEOの観点からサイトマップの登録やクローラーの細かい指定などは含まれておりません。
robots.txt の書き方、設定と送信 ※Google検索セントラルのサイトに繋がります