外部サイトにリンクします。
https://prime.itxoft.com/understanding-robotstxt-itxoft-13079/