外部サイトにリンクします。
https://grow.itxoft.com/understanding-web-crawlers-itxoft-16746/