「robots.txt」とはWebサイトのファイル（ページやディレクトリ）を巡回する「クローラー」の動作を制御するテキストファイルです。設定することでクローラーに巡回されないようにすることができ、対象のページなどをインデックスされにくくし特定のページやディレクトリを検索結果に表示しないことに繋がります。 LENSAhubでは、基本設定の「検索除外設定」からrobots.txtを編集できます。 入力時のルールは一定のルールがあるため、下記によく使用されるパターンについて記載します。
ただし、robots.txtの記述に誤りがあると、意図しないページが検索結果から除外されてしまう可能性があります。基本的な入力例を参考にしながら、運営しているサイトの目的に合わせて設定してください。 ※入力内容について、当社は一切の責任を負いかねますのでご了承ください。
※ディレクトリやページについては、上記記載にて「Disallow: ●●」を追加していくことで、対象のディレクトリやページを増やしていくことができます。 ※参考例の内容はあくまで一般的な検索除外設定の例です。SEOの観点からのサイトマップ登録や、クローラーのより詳細な制御は含まれていません。
robots.txt の書き方、設定と送信 ※Google検索セントラルのサイトに繋がります