外部サイトにリンクします。
https://prime.itxoft.com/understanding-crawling-indexing-itxoft-15009/