Lumarは、プログラミング言語Rubyを使用してデータを処理し、インターフェース用のHTMLとJavaScriptを生成します。
当サービスは、アマゾンウェブサービスのクラウドコンピューティングプラットフォーム内ですべて実行されます。

はい、インターフェースを自由なロゴでホワイトラベルとして使用することができます。

はい、すべてのユーザーがDeepCrawl APIを利用できます。
APIキーおよび命令文が利用可能なAPIアクセスです。
使用は公正なポリシーに基づきますが、イレギュラーな事情がある場合には、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にお気軽にご連絡ください。
最新のAPIドキュメントはここから確認することができます：
APIドキュメント

プロジェクト毎に最高30回個別にカスタム抽出が可能で、1回の抽出あたり最高20マッチと64 KBのデータを含みます。

URLリスト、XMLサイトマップ、アナリティクスデータ、被リンクデータに対して最高100MBまでのファイルをアップロード可能です。

クロールするウェブサイトと、詳細設定でクロールに対する制限または規則が適用されているかどうかによって全く異なります。

「クロール」フェーズのどの段階でも手動でクロールを休止することができます。後で再開することもできますが、72時間後に自動的に終了します。
クロールは設定された限界に達するか、限界に達する前にクレジットがなくなると、特定の状況で（必要なオプションがクロール前に選択された場合に）自動的に休止します。いずれに倍も、クロールは自動終了前の72時間は休止したままになります。
クロールのスピード、深さ、クロールのURL制限は、一切休止することなく変更できます。

IISはBasic認証をサポートし、正常に機能します。
Basic認証（IIS 7）を設定します。
クッキーを使用するその他のタイプのパスワードソリューションを実行することもできますが、クッキーを保存しないため、Lumarでは機能しません。

はい、Lumarは、HTTPステータスをチェックするために、CSSおよびJSファイルを検出してクロールし、無効または許可されていないファイルについてレポートします。
詳細設定＞スコープ＞クロール制限で、この設定を変更することができます。
Lumarは、CSSとJavaScriptをクロールしません。実際に、Lumarは非HTMLファイルをクロールしません。

PDFドキュメントが内部でリンクされている場合は、検出してリストにレポートされます。
「詳細設定」で「非HTMLファイルタイプをチェックする」を設定した場合、Lumarは対象リンクのHTTPステータスをチェックします。

Lumarは、内部リンクデータレポートに表示されるリンクイメージのaltテキストを検査します。
詳細設定のカスタム抽出を使用し、リンクされていない画像上の空のAltタグを識別することができます。

Lumarは、デフォルトでH1、H2およびH3タグを検出・抽出し、複数のH1タグと足りないH1タグに関するレポートを生成します。
LumarはH4、H5などは検出しません。ただし、Lumarのカスタム抽出を使って実行することができます。
弊社のカスタム抽出ガイドを読んで方法を確認してください。

Lumarは、クロール設定に選択したユーザーエージェントに基づいてご使用のサイトで有効なrobots.txtに従います。
クロール中、現在のrobots.txtファイルを無視するために、Lumar Robots Overwrite機能を使用し、指定した替わりのバージョンを使用することもできます。
Lumarが特にrobots.txtファイルで許可されていない場合には、それに従います（この場合、ステルスクロールによって支障なくサイトのクロールを実行することができます）。

大半のサイトは、Lumarによるクロール中でもまったく遅くなりません。
サーバ容量がユーザーのリクエストを処理できないか、ユーザーのリクエストが増えている時にLumarがクロールする場合、遅くなるサイトもあります。
この場合、クローラーの最高速度を制御してサイトの速度低下を防止することかできます。設定した停止期間中（午前1時～午前5時など）、クロールの速度を上げることによって、クロール活動を最適化することもできます。
これはすべてクロール速度制限設定で設定することができます。

Lumarでは、特定の速度(1秒あたりのURL数)で特定の時間にクロールをセットアップし、クロールするスケジュールを設定することも可能です（毎週、毎日、定時（24時間）など）。
これは、クロールのセットアップ＞クロール速度制限のフェーズ3で設定することができます。
例えば午前1時～午前5時のウィンドウ内でのみクロールを実行したい場合、午前5時から午前1時までの1秒あたりクロールするURL数を0に制限し、その期間中クロールを実行しないようにして、午前1時～午前5時の間にしかサイトをクロールしないように制限し、トラフィックがピークの時間を避けることができます。
「制限を追加する」を選択し、午前5時から午前1時までを選択してクロール速度を0にします。

HTTPリクエストを行うために使うユーザーエージェントだけが変わります。サーバーが、モバイルユーザーエージェントに対して異なる反応をするようにセットアップされている場合、Lumarはその情報を受け取りレポートします。

Lumarは、ユーザーエージェント文字列内に「Lumar」を含めると、それ自体を常に識別します。
ユーザーエージェント文字列の包括的リストについては、ページ下部を参照してください。

デフォルトでは、LumarクローラーからのリクエストはIPアドレス52.5.118.182から送られます。
リージョナルIPを選ぶ場合のIPアドレスは異なっているので、JavaScriptレンダリングと併用することはできません。
アカウント設定で「カスタムプロキシ」を追加すれば、月別の少額料金でプライベートプロキシを提供し、あなた自身のプロキシサービスを使用することができます。この設定では、JavaScriptレンダリングと併用することはできません。

Lumarは、最も一般的なサーチエンジン、デスクトップブラウザ、モバイル機器を含むクロール用の各種ユーザーエージェントを提供します。
自分自身のカスタムユーザーエージェントを追加することもできます。
デフォルトでは、LumarはGooglebotとしてクロールし、以下の文字列によって識別することができます：
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot

以下は、利用可能なユーザーエージェントおよびその文字列を含む包括的リストです：
Applebot: [“Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1) https://deepcrawl.com/bot”]
Baidu: [“Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) https://deepcrawl.com/bot”]
Bingbot: [“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) https://deepcrawl.com/bot”]
Bingbot Mobile: [“Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b https://deepcrawl.com/bot”]
Chrome: [“Mozilla/5.0 (Windows NT 6.0; WOW64) AppleWebKit/534.24 (KHTML, like Gecko) Chrome/11.0.696.16 Safari/534.24 https://deepcrawl.com/bot”]
Chrome Mobile: [“Mozilla/5.0 (Linux; Android 7.0; SM-G892A Build/NRD90M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/60.0.3112.107 Mobile Safari/537.36 https://deepcrawl.com/bot”]
DeepCrawl: [“deepcrawl https://deepcrawl.com/bot”]
Facebook: [“facebookexternalhit/1.1 https://deepcrawl.com/bot”]
Firefox: [“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 https://deepcrawl.com/bot”]
Google Web Preview: [“Mozilla/5.0 (en-us) AppleWebKit/525.13 (KHTML, like Gecko; Google Web Preview) Version/3.1 Safari/525.13 https://deepcrawl.com/bot”]
Googlebot: [“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot”]
Googlebot (legacy): [“Mozilla/5.0 (compatible; Googlebot/2.1; https://deepcrawl.com/bot)”]
Googlebot Smartphone: [“?Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot”]
Googlebot-Image: [“Googlebot-Image/1.0 https://deepcrawl.com/bot”]
Googlebot-Mobile Feature phone: [“SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot”]
Googlebot-News: [“Googlebot-News https://deepcrawl.com/bot”]
Googlebot-Video: [“Googlebot-Video/1.0 https://deepcrawl.com/bot”]
Internet Explorer 6: [“Mozilla/5.0 (Windows; U; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) https://deepcrawl.com/bot”]
Internet Explorer 8: [“Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0) https://deepcrawl.com/bot”]
Iphone: [“Mozilla/5.0 (iPhone; U; CPU like Mac OS X; en) AppleWebKit/420+ (KHTML, like Gecko) Version/3.0 Mobile/1A543a Safari/419.3 https://deepcrawl.com/bot”]
iPhone X: [“Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 https://deepcrawl.com/bot”]
Yandex: [“Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) https://deepcrawl.com/bot”]

すべてのデータは、Amazon Web Serviceを使用して保存されます。このサービスは、世界で最も安全なクラウド環境の1つです。クロールデータは、クロールがアーカイブされるか削除されるまでEC2サーバのデータベースに保存されます。レポートデータおよびバックアップはS3に保存されます。弊社は、VPNおよびセキュリティグループを使用し、データへの許可されていないアクセスを防止します。

はい、同時に最大10クロールを実行することができます。

Googleアナリティクスなどの各アナリティクスツールでは、一般的に使われているブラウザの内で実行するJavaScriptトラッキングタグが使用されます。Lumarでのクロールは、ユーザーのアナリティクスデータに影響しないページにおいて、一切JavaScriptを実行しません。

古いアナリティクスツールには、ウェブサーバーに保存されるログファイルデータを使用するものもあり、これらはGoogleやBingなど、Lumarを含むクロールによって影響を受ける可能性があります。

いいえ、公開されているウェブサイトをクロールするために何かをする必要はありません。通常は、トラッキングタグの追加や認証プロセスも不要です。
クロールがブロックされないように、IT管理者またはWebサイトのホスティング担当者に、あらかじめ通知しておく必要があります。
テスト用のWebサイトやステージング環境など、独自のネットワーク上のプライベートWebサイトをクロールする場合は、ユーザーエージェントまたはIPアドレスを識別することでLumarへのアクセスを許可するか、基本的な認証またはDNS設定を行う必要があります

アクティブプロジェクトとは、現在の請求期間にクロールが実行されたプロジェクトです。上限に達した場合は、次の請求期間まで、有効なプロジェクトでのみクロールを実行できます。
期間内に上限を増やす必要がある場合は、アドオンを使用してアカウントのアクティブプロジェクトをさらに購入できます。
アカウントに保存できる非アクティブプロジェクトの数に制限はないため、削除する必要はありません。

クロールできるドメインの数に制限はありませんが、パッケージによっては、アカウント内の 「アクティブ」 プロジェクトの数に制限があります。

アカウントの有効期限が切れるまで、データを使用できます。データを引き続き使用するためには、アカウントの有効期限が切れる前にエクスポートしてください。

クレジットカードかデビットカードでお支払いの場合は、銀行に問い合わせいただき、口座引き落としまたは自動振替の詳細を修正することができます。サブスクリプションエリア経由でプラットフォーム内から詳細を変えることもできます。ご不明な場合は、sales@gmotech.jp宛にご連絡いただければ、弊社にて対応いたします。

クレジットカードかデビットカードでお支払いの場合は、ほとんどの大手銀行でオンラインバンキング経由で自動引き落としをキャンセルすることができます。あるいは銀行に連絡するか、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡いただければ弊社にて対応いたします。
クレジットの残りは、有効期限まで利用可能です。有効期限が切れるとDeepCrawlインターフェースが利用できなくなりますのでご注意ください。データを今後も引き続き使用したい場合は、アカウントが期限切れになる前に、エクスポート機能をご利用ください。
この件に関して不明点がある場合、担当のアカウントマネージャーに連絡するか、GMOTECHサポートデスクdeepcrawl-support@gmotech.jp宛にご連絡ください。

アカウントにログインしてサブスクリプションに進み、クレジットのセクションの「クレジットを購入する」をクリックします。購入したアドオンクレジットは、購入日から30日間有効です。

アカウントにログインしてサブスクリプションに進みます。最近のパッケージアイコンの隣の「復活する」をクリックします。

サブスクリプションに進み、クレジットセクションの「ダウングレード」をクリックします。上記の方法で出来ない場合は、担当のアカウントマネージャに連絡するか、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡ください。

サブスクリプションに進み、クレジットセクションの「アップグレード」をクリックします。上記の方法で出来ない場合は、担当のアカウントマネージャに連絡するか、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡ください。

すべての支払い関連のアクションについては、アプリケーション内のサブスクリプションをご覧ください。請求書を確認するには、サブスクリプション画面の「支払明細書および請求書」のボタンをクリックします。

日本円でお支払い可能です。価格設定ページの右上で指定通貨を選択して希望のパッケージを選択し、購入をクリックしてステップに従います。
後日、指定通貨で請求されます。

アドオンクレジットは、購入日から1ヵ月間有効です。

最低契約期間は12ヵ月です。

はい、各プラン税込みの価格です。

可能です。弊社営業部(sales@gmotech.jp)まで購入したいパッケージをお知らせください。

Lumarは、クラウドベースのウェブクローラーです。
Lumarを設定すれば、様々なタイプのクロールに対応できます。例えば、ご利用のウェブサイト、ステージング環境、外部サイト、アナリティクスデータ、被リンク、サイトマップ、URLリストをクロールすることができます。
Lumarは、Webサイトの構造を分析し、技術的な問題を理解および監視して、SEOのパフォーマンスを向上させるのに役立ちます。
Lumarは次のような目的に活用できます：
技術的なサイトの監視
サイトリニューアル / 移行
変更点のチェック / 管理
リンクのチェック
競合サイトのインテリジェンス
ランディングページの分析
ウェブサイトアーキテクチャの最適化
ウェブサイトの開発テスト
競合他社の分析

Lumarは経験豊富なSEO担当者によって設計されており、幅広い問題を解決するために使用されています。
ほとんどのクローラーよりも詳細で広範囲なデータの取得が可能であり、データはより扱いやすく、実行しやすいフォーマットで提供されます。
Lumarはクラウドベースのクローラーであるため、ローカルで実行されるソフトウェアベースのクローラーに比べて、大量のクロールが実行可能となります。また、マシンのスペックや、マシンで実行されている他のアプリ等に影響されることもありません。
非常に高度なカスタマイズと制御をすることができ、各プロジェクトに合わせてクロールを調整できます。

Lumarはコンテンツの長さの計算を含めて、どの言語でも文字を正確に処理することができます。ラテン文字以外のURLは、インターフェースおよびダウンロードデータ内にコード化されていないフォーマットで表示されます。

ご使用のサイトのサーバーにとって1秒あたり3URLをクロールするデフォルトの速度が速すぎるために起こることがあります。このため、ページがLumarによって503エラーとして記録されますが、通常はユーザーに対してOKを返します。
クロール設定では、1秒あたり1URLに最大クロール速度を抑えて、503エラーが記録される可能性を低くすることかできます。クロール完了までの時間は長くなりますが、503を含む5xxレポートが表示される可能性は低くなります。

「ボディコンテンツ重複」レポートは、Lumarが該当ページのボディのテキストのみを検査したURLを表示しますが、「ページ重複」レポートの結果は、HTMLタグを含むページ全体を分析するLumarから得られます。「ボディコンテンツ重複」レポートは、類似しているがテンプレートが異なるページを取得することもあります。
重複していないページを重複ページレポートで表示できるのはなぜですか。
重複は主観的な尺度です。多くの人々が非常に似たページや同じページを確認したいと思っているので、Lumarはアルゴリズムを調整して、そうしたページを取得してきました。このアルゴリズムが重複していないページを重複と判定することもあります。類似ページを複数削除したい場合には、レポート設定で重複感度の設定を調整することができます。

正確なページは検出が最も簡単ですが、多数の「類似」ページが見落とされているため、あまり役には立ちません。
Lumarアルゴリズムは、少しの差を許容するように調整されています。
このアルゴリズムはほとんど同じページを検出します。ウェブページは日付などの細かい違いがあることが多いので、非常に小さな違いは無視します。
Lumarのアルゴリズムは範囲内の重複を以下のように分類します：
重複ページ
同じタイトル
ほぼ同じボディコンテンツ
重複ボディコンテンツ
ほぼ同じボディコンテンツ
重複タイトル
同じタイトル
最も信頼すべきページ（DeepRankスコアに基づきます）を一次重複として報告し、一次ページセクションのリストに含めます。Lumarがほぼ同じと見なし（上記基準に基づきます）あまり価値のないページは、重複ページとしてリストに入れられます。
また、以下のページタイプは、重複レポートから除外されます：
許可されていない
Noindex
正規化されている
ごくまれに誤判定はありますが、多くの場合、このアルゴリズムは正確に重複ページを識別します。Lumarは常に微調整されているので、誤判定を受けた場合にはご連絡のうえ、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にサンプルを送ってください。
重複ページを識別・処理する方法をもっと知りたい場合には、URL重複がご使用のウェブサイトにどのような悪影響が出て、どのようにそれを止められるかについてのブログ記事をお読みください。

DeepRankは、Googleの基本的なPageRankアルゴリズムと同様の方法で計算される内部リンク重みの測定値です。DeepCrawlはすべての内部リンクを保存し、各リンクに同じ値を与えます。これは、各ページを示すすべてのリンク値の合計であるDeepRankを計算するために、何度も繰り返します。繰り返す度に値は最終値に近づきます。
これは重要度の指標であり、現在のレポート内（クロール全体内）で最も重要なURLを示しやすくなります。

すべてのレポートには問題とその潜在的影響を表現するために重要度が割り当てられます。レポートは、ポジティブ、ネガティブ、またはニュートラルの記号も付けられます。問題のリストはネガティブレポートにフィルタリングされ、重要度によって増えるレポート内の項目数によって順序付けられます。そのため、問題が数値順に表示されることはほとんどありません。変化は、問題の重要度によって増えるレポート内の追加または削除された問題数によって順序付けられます。

レポートに関連するURLを計算する他、クロール間のURLの変化も計算します。URLがレポートに表示されるが、以前のクロールのレポート内にはなかった場合、「追加レポート」に含まれることになります。URLが以前のクロールに含まれ、現在のクロールに存在するが、特定のレポートにない場合は、「削除レポート」にレポートされます。URLが以前のクロールに含まれていても、現在のクロールのレポートには含まれていない場合、「不明レポート」に含まれます（例えば、最後にクロールしてからURLがリンクされていない場合や、クロールのスコープ外にある場合など）。

レポートを共有するときに、オプションのドロップダウンの期限切れ時間枠から選択することができます。この範囲は24時間から6ヵ月までで、デフォルトの設定は1ヶ月です。オンラインレポートは最近のクロール用のインターフェースでのみ利用可能であることにご注意ください。

現在は、クライアントのアカウントが存続している間はクロールデータを保管しております。

アカウントの期限が切れるとアカウントは休止しますが、いつでも復活したいときに復活できます。永久にデータ全てを削除したい場合は、個別に依頼する必要があります。担当のアカウントマネージャ-
か、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡ください。

ディスプレイレポートに使うすべての表を含むクロールデータは、Amazon S3ストレージにバックアップされます。尚、このストレージはWrite Once Read Manyであるため、信頼性が高いです。すべてのユーザーおよびアカウントデータは、1時間ごとにバックアップされます。

クロールが終了するまでレポートを見ることはできません。重複検出や内部リンク解析などの計算には、計算を開始する前に完全なページURLセットが必要なことが非常に多いためです。