サイトのURLがいくつもあったとしても、全てをクロールする必要があるとは限りません。これにはいくつかの理由があります。
ほとんどの方がクレジットを節約したい、またはクロールに費やす時間を減らしたいなどといった願望をお持ちなのではないでしょうか。サイトには低価値のURLが多数あり、SEOの向上に貢献しない可能性があることにご注意ください。このような場合、サイト全体をクロールしても同じ問題がより多く表示されるだけなので、フルクロールは冗長になります。または、膨大な数のサイトURLがあり、より小さく管理しやすいデータセグメントで作業したい場合はクロール設定のステップ３で”クロール制限”オプションを使用して、クロールを特定の数のURLまたはサイトの深さに制限することができます。
レベルごとのクロール
Webクロールは、リンクをたどってサイトのより深いレベルで新しいページを発見することによって機能します。まず最初のレベルは、デフォルトでベースドメインとして指定したURLになります。ただし、詳細設定の開始URLセクションに別のURLを追加することにより、開始点を変更できます。
最初のページで見つかったリンクはすべて追跡され、レベル２であると見なされ、これらのページから検出された新しいページは、レベル３であると見なされます。
これがクロール制限に与える影響とは
クロール制限セクションを使用すると、１０個から最大３００万個のURLの７つの標準オプションがあることがわかります。
URLの総数でクロールを制限できます。この場合、フルレベルごとにサイトをクロールする代わりに、入力したURLの総数をクロールします。
このレベルでクロールされなかった追加のURLは、レポートダッシュボードのクロールされていないURLセクションにクロール制限の制限されたURLとして再び表示されます。
カスタムクロール制限を使用する
特定の数のURLをクロールするために「カスタム」設定を使用することもできます。
たとえば、252,222と入力すると、ツールはその数のURLを正確にクロールします。
一時停止またはファイナライズ
このセクションでは、クロールを完了するために制限が十分でない場合、または制限に達したときに”すぐに終了”を選択するとメールで通知を受け取ることもできます。”とにかく終了”を選択した場合、クロールは通常どおり自動的に完了します。
