外部サイトにリンクします。
https://boost.itxoft.com/understanding-crawling-indexing-itxoft-2650/