クロールを開始する前またはクロール中に、クロールの全体的なサイズと深さを制限できます。これは、最初にWebサイトのクロールを開始し、まだ完全に出来上がっていない状態の中で意図せずに多くのURLクレジットが使用されるのを防ぐ為や、ディスカバリクロールを実行するために役立ちます。
クロールの深さと最大URL制限
クロールのセットアップのステップ３で、クロールを制限する一連のオプションが表示されます。最初のオプションは、クロールの深さです。これにより、開始ページからクリック数またはレベル内で到達したページのみをクロールできます。
Webサイトの開始ページはレベル１です。開始ページからリンクされているページはすべてレベル２。レベル２からリンクされているページは全てレベル３etc…といった形式です。
ドロップダウンはデフォルトで、１０００レベルに設定されます。クロールを既に設定されていて、おおよその数のURLを選択したい場合に最適な操作となっています。
ドロップダウンリストから ”カスタム”を選択することで、コントロール性と汎用性を高めるもうひとつオプションを利用することができます。カスタム設定では、特定の数のレベルを選択したり、ホームページからクリックすることが可能です。
2番目のオプションはURL制限です。これにより、クロールするURLの最大量を指定できます。
これには、クロールするURLの正確な最大量を指定できるカスタムオプションとともに、いくつかのプリセットオプションもあります。
クロールは、指定したURLの数または深さの上限に達すると停止し、設定に応じてファイナライズまたは一時停止します。
各クロールごとの最大URL設定を調整し、通常のクロールによる過度なクレジットの使用を防止することができます。変更するにはsupport@deepcrawl.comにお問い合わせ下さい。
一時停止してファイナライズ
クロールの制限に達したときにレポートを自動的に生成するには、”とにかく終了”を選択します。
クロール設定を調整する、クロールを再開する、またはクロールの制限に達したときにファイナライズするオプションが必要な場合は、”この制限が十分でない場合は通知してください”を選択します。
また、これらの設定はクロール中に変更することも可能です。
最大ページ数または最大レベルの制限に基づいてリストまたはサイトマップのクロールを制限することはできません。リストまたはサイトマップのすべてのページがクロールされますが、いつでも手動で一時停止及び終了することが出来ます。
ページのグループ化
詳細設定のページグループ化機能を使用して、ページタイプごとにクロールされるページ数を制限することができます。
これは、ユーザープロファイルページなど、クロールから除外したい特定のURLタイプのページが多数ある場合に便利です。
制限するURLに一致する正規表現を追加し、％値を追加するだけでできます。
Please note:
- 注：「。*」正規表現はデフォルトでページURLマッチの末尾に表記されるため、searchは search / anything、/ search / anything２などに一致します。
