外部サイトにリンクします。
https://grow.itxoft.com/improving-crawl-rate-itxoft-16651/