外部サイトにリンクします。
https://boost.itxoft.com/improving-crawl-rate-itxoft-3943/