SEOの仕組みの基礎中の基礎の仕組みが「クローラー」です。クローラーが無ければ、サイトが評価されることもなく、そもそも検索結果にお持ちのサイトが表示されることもありません。
ここでは、そのクローラーの役割と関連する用語について解説します。
クローラーはあなたのサイトの内容を認識するロボット
クローラーの語源となる「crawl（クロール）」は、水泳のクロールと同じで「這う」という意味があります。
その意味の通り、インターネット上で公開されたWEBサイトの隅々までクローラーが駆け巡り、サイトの情報をかき集めています。
その情報が検索エンジンに共有されることになります。
クローラーとインデックスの違い
似たような性質を持つ言葉に「インデックス」があります。
インデックスは、ユーザーが検索した検索結果の候補に表示させるために必要なものになります。クロールからインデックスまでは一連の作業になるため、殆ど同義と捉えても差支えないでしょう。
クロール（インデックス）させないためには、「no index」を
過去の記事を見返した時に、コンテンツとして質が低いと感じたり、会員向けの情報のようにSEOで狙わないページ等は、インデックスされることでSEOに不利に働くこともあります。
そのようなときに重宝するタグが「no index」タグです。
これを設置しておくと、クローラーが避けて各ページをインデックスしていくのでSEO的に不利だと思われるページには、リライトやメンテナンスが完了するまでは、設置しておきましょう。
まとめ
クローラー・・・ サイトの構造や内容をチェックするためサイトを巡回するシステム。
インデックス・・・クローラーで取得した情報を検索エンジンに通知する事。
不要なページへのクロールを避けたことで、SEOの順位が改善したという事例も多数見られますので、もし質の低いページや検索結果に出てきてもユーザーのためにならない。というページが思い当れば、一度見直してみてください。
