robot.txtをレビューしてください
robot.txtとはGoogleをはじめとするクローラーに対する制御を行うテキストファイルです。
経緯としては、そのクローラーが過多なアクセスをして、無駄なお金がかかっていることが原因でした。
そのため、クローラーを制御するためrobot.txtを修正しようということになったのが経緯です。
クローラーといえばGoogleですが、それだけではなく、bingbot、はたまたドミニカ産のクローラーなんて存在します。
robot.txtの書き方は調べれば良いですが、typoしていたらどうするのかという点でした。
これにも手があって、検証用のサイトが用意されています。
