外部サイトにリンクします。
https://grow.itxoft.com/understanding-robots-txt-itxoft-16176/