外部サイトにリンクします。
https://fix.itxoft.com/understanding-robotstxt-itxoft-8121/