robot.txtをレビューしてください robot.txtとはGoogleをはじめとするクローラーに対する制御を行うテキストファイルです。 経緯としては、そのクローラーが過多なアクセスをして、無駄なお金がかかっていることが原因でした。 そのため、クローラーを制御す…