新しいダッシュボードとグラフ：ログファイル、サーチコンソール、分析レポート

2022年1月、Lumar（旧DeepCrawl） のプラットフォームは大幅にブラッシュアップされ、ユーザーの皆様に新しいUXを提供すべく生まれ変わりました。プラットフォームのインターフェースの外観はもちろん、ナビゲーションやパフォーマンスに至るまで様々な箇所に改善が加えられています。このアップデートに合わせ、関連するダッシュボード、グラフ、そしてレポートにおいて新しいカテゴリとサブカテゴリを作成しました。このプロダクトガイドでは、新しいカテゴリダッシュボードを確認していくとともに、ログファイルやサーチトラフィックレポートについても細かくご説明し、すべての新しいグラフについて言及、そのご利用方法について記載していきます。
 

カテゴリダッシュボード

ダッシュボード左側に配置される新しいナビゲーションに、各カテゴリとサブカテゴリと関連するグラフを含む要素を新たに加えました。また、新しいトレンド曲線を多数追加したので、素早くトレンドや急激な変化を把握し、適切なアクションを取ることができます。レポートにカテゴライズの要素を入れ、これらデータを可視化することにより、カテゴリから適切にナビゲーションして問題点の検出につなげることができるようになりました。グラフ上のデータポイントをクリックすることで、関連するレポートに遷移して詳細を確認することも可能です。

例えば、あるプロジェクトにおいて ”インデクセーション” をクリックすると、インデックスに関する分析結果が表示されるダッシュボードに遷移します。そして ”インデックス不可のページ” をクリックすると、インデックスできないページに関連した新しいダッシュボードに遷移していきます。

ログファイル

ログファイルダッシュボード

今回のアップデートでより大きく改善した箇所の１つに、ログファイルカテゴリがあります。ログファイルレポートにおける検出機能を改善したことで、ログファイルから得られる分析結果がより洗練されたものになりました。

Lumarでは次のような点に関して、ビジュアルと情報量の面で更に詳しいデータ分析が可能になりました。

• クロールバジェット分布 ：ボットヒットの有無でプライマリページを切り分け、同時に重複ページ、インデックス不可のページ、エラーページ、そしてボットヒットのあるリダイレクトなども表示

• トレンドグラフ：Googleや他の検索エンジンがお客さまのウェブサイトにどのようにアクセスしているかを示しており、ボットが効率よくクロールできているか確認できる
• ページ深度別ボットヒット分布：ボットヒットのあるページ深度を表示。リクエスト量が少ないと検索エンジンがあまり重要ではない、ないし更新頻度が少なくクロールの頻度も少なくて良いと認識する可能性がある。
• クロールバジェットイシュー：ログサマリファイルにリクエストのあるページに関するイシューを表示。ボットヒットが少ないか存在しないページが必ずしも悪いわけではないが、検索エンジンがこれらのページは変更が少なく、したがって重要ではないと考えてしまう可能性がある。

GoogleサーチコンソールとGoogleアナリティクス

トラフィックのカテゴリでも、いくつかカテゴリを追加しました。もちろんお客さまに、次のような観点で、より深いインサイトとトレンドデータをご提供するためです。

• どのようなページがインプレッションやクリックを簡単に生み出しているのか？
• どのセグメントが検索において最も良いパフォーマンスをあげているか？
• インプレッション、クリック、または訪問があるがイシューを抱えているページがあるか？

これまではサーチトラフィックレポートではサーチコンソールとアナリティクスデータを組み合わせたものでしたが、今回のアップデートでこれらをサブカテゴリに分割し、より良いインサイトを獲得できるようになりました。

それでは、新しいサーチコンソールとアナリティクスのサブカテゴリから得られるレポートのいくつかをご紹介していきましょう。
 

新しいサーチコンソールレポート

SERPに表示されるクリックのないプライマリページ (トラフィック > サーチコンソール)

このレポートでは、ユニークかつインデックス可能なページが表示されます。すなわち、サーチコンソールではインプレッションありとカテゴライズされるが、クリックの発生していないページです。これらのページをしっかりと調査し、最も重要なページが最適化され、トラフィックとコンバージョンをもたらすようにしておく必要があります。

SERPに表示されるインデックス不可のページ (トラフィック > サーチコンソール)

これは、インデックス不可として検出されながら、サーチコンソールではインプレッションが検出されるページを指します。サーチコンソールのデータがレポート期間（デフォルトのデータレンジは100日）に収集されると考えてください。 クロールデータはサイトをクロールした特定のタイミングで収集されるため、より直近のタイミングとなる傾向があります。

このレポートはレポート期間において検索結果でインプレッションがあるが、正規化されている、インデックスされていない、またはRobots.txtで許可されていないか、少なくとも１つの理由によりLumarがインデックス不可と判断したすべてのURLを対象としています。そのため、このレポートは次のような問題点のフラグとして解釈することができます。

• 最近インデックス不可とされたページ：インプレッションがありながら、クロールにおいてnoindex指定されているURLがあれば、直近のタイミングでnoindexへ変更された可能性があります。これらのURLは、その変更がエラーである場合を想定してレビューする必要があります。
• 検索エンジンがnoindexのページをクロールできない：noindex指定されていてもrobots.txtによりブロックされている場合には、クロールすることができません。この場合検索結果から削除はされません。
• 検索エンジンにとってURLの検出が困難：検索エンジンがnoindexのディレクティブを検出する以前に、URLを検出できていなければそもそもクロールが実行されません。
• Googleが正規化URLを無視している：canonicalタグはGoogleに対するヒントでありディレクティブではないため、Googleが指定されたcanonicalタグを無視して、内部リンク、バックリンク、リダイレクトなど他のシグナルをベースに元々のURLをインデックスし続けている可能性があります。

新しいサーチコンソールレポートの完全リスト

これらレポートはトラフィック内のサーチコンソールというサブカテゴリ内にあります。

Googleサーチコンソールのサーチファネル：

• SERP上にあるクリックのあるプライマリページ – これらのページは固有でありインデックス可能で、かつレポート期間においてサーチコンソールでクリックが検出されています。このページはインデックスされており、オーガニックの検索結果からクリックスルーを獲得していることを示しています。
• SERP上にあるクリックのないプライマリページ – これらのページは固有でありインデックス可能で、かつレポート期間においてサーチコンソールでインプレッションが検索されているものの、クリックは発生していません。 これはこうしたページが検索結果に表示されているが、サイトへのクリックスルーは発生していないことを示しています。これらのページを検証し、最適化しておく必要があります。
• SERP上にないプライマリページ – これらのページは固有でありインデックス可能ですが、レポート期間においてサーチコンソールでインプレッションが検出されていません。これらのページを検証し、最適化した上で検索エンジンに検出されるように対処する必要があります。
• SERP上にある重複ページ – これらのページは重複（＝同じクロールにおいて検出された他のページと同一のタイトル、ディスクリプション、コンテンツがある）とカテゴライズされながらも、レポート期間においてサーチコンソールでインプレッションが検出されているページです。固有のページとするか、他のページとマージさせる必要があります。
• SERP上にあるインデックス不可のページ – これはインデックス不可であるがレポート期間においてサーチコンソールでインプレッションが検出されたページです。
• SERPにおけるリダイレクト – これはリダイレクトされているにも関わらずレポート期間においてサーチコンソールでインプレッションが検出されたページです。関連ページへリダイレクトされており、適切なHTTPステータスコードを使用しているか (例：302リダイレクトは一時的な処理であるため、GoogleがインデックスにおいてこれらURLをアップデートするのに比較的長い時間がかかってしまう）を確認する必要があります。
• SERP上のエラーページ – これらのページはエラーのステータスコード (400, 404, 410, 500または501) を返すが、レポート期間においてサーチコンソールでインプレッションが検出されているページを指します。こうしたページでは表示ランキングが低下してしまうリスクが大きいといえます。エラーページへのランディングはUXを大きく阻害してしまうため、検索エンジンはエラーを検出次第、これらのページをインデックスから除外しようとします。エラーによるリンク切れや壊れたページ、不正リンクがある場合には、壊れたページそのものや、そうしたページへのリンクを修正する必要があります。ページが存在しない、または同様の内容で正常なページがあれば、リダイレクトを設定すると良いでしょう。

Googleサーチコンソールのトラフィックレベル：

• クリック数X〜Yのプライマリページ – Googleのオーガニック検索からクリックを獲得しているページで、量的グルーピングにより分布化されたものを示します（例：1~10クリック, 10~100, 100~1,000, 1,000~10,000, 10,000以上）

新しいアナリティクスレポート

訪問のあるリダイレクト（トラフィック > サーチアナリティクス）

リダイレクトされているがレポート期間においてGoogleアナリティクスで訪問者が検出されているページを検出するレポートです。関連URLにリダイレクトされているか、適切なHTTPステータスコードが使用されているかを確認しましょう。例えば、302リダイレクトは一時的なものであるため、GoogleがこれらのURLをインデックス上でアップデートするのに比較的長く時間がかかってしまう可能性があります。

訪問のあるエラーページ（トラフィック > サーチアナリティクス）

クロール中に壊れたステータスコードを返しているとLumarで検出されているが、レポート期間でアナリティクスデータでは訪問者のあるページに関するレポートです。

こうしたページはクロール時点では壊れたページとされるため、コンテンツにアクセスすることはできません。現時点で壊れているか削除されているURLでありながら、オーガニックの検索トラフィックから訪問者を獲得していると表示されています。壊れたページへユーザーがランディングするとUXの観点で不適切なため、検索エンジンはインデックスからこのURLを除外することになります。エラーによりページが壊れている場合、適切に検証して修正しておきましょう。そのページが削除されており同様のページが存在するのであれば、新しいURLに対して301リダイレクトをしておくと良いでしょう。処理するURLに優先度をつけるため、セグメンテーションや訪問数の計測をすることも考えられます。

新しいアナリティクスレポートの完全リスト

これらのレポートはトラフィック内のアナリティクスというサブカテゴリから確認できます。

アナリティクストラフィックファネル：

• 訪問のあるプライマリページ – 固有かつインデックス可能であり、アナリティクスデータによるとレポート期間において訪問者のあったページのことです。これらのページはインデックスされていて、オーガニックの検索結果から訪問を獲得していることを示します。
• 訪問のないプライマリページ – 固有かつインデックス可能であるが、アナリティクスデータによるとレポート期間における訪問者がなかったページのことです。これらページが最適化され、検索エンジンにより検出される状態にしておくようにしましょう。
• 訪問のある重複ページ – 重複（＝同じクロールにおいて検出された他のページと同一のタイトル、ディスクリプション、コンテンツがある）とカテゴライズされながらも、アナリティクスデータによるとレポート期間における訪問者のあったページです。固有ページとするか、他のページとマージするか、いずれかの処理を行うべきページです。
• 訪問のあるインデックス不可のページ – インデックス不可とされていながらアナリティクスデータによると、レポート期間で訪問者のあったページです。Googleがランキング表示において正規化されている、noindex指定されている、またはdisallow処理されているとクロールで判断されたページを優先していることを示唆しています。
• 訪問のあるリダイレクト – リダイレクトされているが、アナリティクスデータによるとレポート期間で訪問者のあったページです。対応については既述です。
• 訪問のあるエラーページ – エラーのステータスコード (400, 404, 410, 500または501) を返すが、アナリティクスデータによるとレポート期間で訪問者のあったページです。こちらも対応は既述。

新しいグラフの完全リスト

インデクセーション

概要:

• HTTPステータス深度グラフ – サイト上の各ページのHTTPステータスの深度を示す

インデックス可能なページ：

• インデックス可能ページ分布グラフ – インデックス可能で、検索エンジンのインデックスに表示することのできるURLの内訳を表示
• インデックス可能ページ分布トレンド – 検出されたインデックス可能なページの時系列トレンド

インデックス不可のページ：

• インデックス不可ページのトレンド – noindexタグやcanonicalタグでインデックス不可となっているURL、robots.txtでdisallow処理をされたページ、すべての内部リンクがnofollow設定されたすべてのページを指す。これらのページは検索エンジンのインデックスに表示されないか、もしくは設定により検索結果に表示されることの少ないページであり、こうした設定が故意に行われているのか、間違ってい指定されているのかを確認する必要がある。
• インデックス不可ページの深度グラフ – インデックスできないページの（サイト内での）深度を表示

非200ステータス：

• 非200ページトレンド – 200以外のステータスコードを返すURLの時系列トレンドを表示。これらURLは一般的に検索エンジンではインデックスされないが、クロールバジェットを消費してしまい、UXを阻害してしまうので最小限にすべき。
• 非200ページの深度グラフ – 200以外のHTTPステータスコードを返すURLのページ深度を表示
• ステータスコードによる非200ページ – 非200のステータスコードの分布を表示

コンテンツ

タイトル＆ディスクリプション：

• タイトル＆ディスクリプションイシュートレンド – タイトルやディスクリプションに関する問題の時系列トレンドを表示。ページタイトルやメタディスクリプションが検索結果ページに表示するコンテンツを司るため、それらが長い、短い、または不足している場合には、サーチパフォーマンスに悪い影響が生まれる。

Bodyコンテンツ：

• コンテンツイシュートレンド – サイト内のコンテンツに関する潜在的問題の時系列トレンドを表示。内容の薄いページや空のページはクロール設定で指定したコンテンツよりもテキスト量の少ないページを指し、最大コンテンツサイズは設定した閾値よりも分量の多いページを指します。
• コンテンツ重複トレンド – 重複コンテンツの時系列トレンドを表示。重複は、ページタイトル、メタディスクリプション、bodyコンテンツ、そしてこれら要素の組み合わせの間に見られる重複を指す。

リソース：

• コンテンツタイプ分布トレンド – クロールにおいて検出された非HTMLリソースのトレンドを表示
• リソースイシュートレンド – リソース内に検出された問題点の時系列トレンドを表示。リソースは、画像、Javascript、またはスタイルシートファイルなどを指す。

設定

リダイレクト：

• リダイレクト分布トレンド – クロール内で検出されたリダイレクトの各種トレンドを表示。リダイレクトは、HTTPヘッダーをトリガーとして発生するものであり、メタリダイレクトはmeta refresh HTMLタグを使用して発生するものを指す。
• リダイレクトイシューグラフ – サイト内のリダイレクトに関する潜在的な問題を表示（例：リダイレクトループ、リダイレクトチェーン等）
• リダイレクトイシュートレンド – クロールにて検出された潜在的リダイレクト問題の時系列トレンドを表示。

HTTPS:

• HTTP & HTTPS分布トレンド – HTTPとHTTPSそれぞれのURLでホストされているページのトレンドを表示。いずれか一方のみを使用するべきものであり、両方のURLに一定量のページが存在する場合には、クロール設定エラーやサイト構造における問題が生じている可能性がある。

ページネーション：

• ページネーショントレンド – クロールで検出されたページネーションのトレンド を表示。最初のページは、全ページへのリンクがないページのことであり、ページネーションの施されたページは、それ以外のページすべてを指す。

URL デザイン：

• URLデザインイシューグラフ –URLデザインに潜在的な問題のあるページを表示
• URLデザインイシュートレンド – URLデザインに潜在的な問題のあるページのトレンドを表示

レンダリング：

• レンダリングイシュートレンド – レンダリングに潜在的な問題があるページのトレンドを表示

リンク

内部リンク：

• リンク切れトレンド – リンク切れとなっている内部リンクのトレンドを表示
• リンク分布トレンド – ソース別のリンクトレンドを表示

外部リンク：

• 外部リンクトレンド – クロールで検出された外部リンクのトレンドを表示

サイトマップ：

• サイトマップグラフ – クロールで検出されたXMLサイトマップを表示
• サイトマップイシュートレンド – サイトマップ内で検出されたリンクに存在する問題点のトレンドを表示
• サイトマップトレンド – クロールで検出されたXMLサイトマップ数

バックリンク：

• バックリンクイシュートレンド – バックリンクのあるページにおいて検出された問題点のトレンドを表示
• バックリンクのあるページの深度グラフ – バックリンクのあるページのサイト内深度を表示

構造化データ

スキーマタイプ：

• 行動化データタイプトレンド – 構造化データタイプのトレンドを表示

トラフィック

サーチコンソール：

• GSCファネルトレンド – Googleの検索結果（SERP）にあるページのトレンドを表示

モバイル

モバイルイシュー：

• モバイルイシュートレンド – クロールで検出されたモバイル設定に関する問題のトレンドを表示。モバイル互換に関する問題は、別々のモバイル、AMP、またはデスクトップページが、それぞれの代替ページに対して正確な互換性を欠いている場合に発生。ミスマッチレポートは、モバイル版とデスクトップ版の間に存在するコンテンツや内部リンクの不一致を表示。

カテゴライズ：

• モバイル設定トレンド – 各ページに設定されているモバイル設定のトレンドを表示。レスポンシブで動的に機能するページにはデスクトップとモバイルの設定がそれぞれ適切に行われているか、またはAMPページが必要となる。

ログファイル

ボットヒット：

• ボットヒット分布の深度グラフ – ボットヒットのあるページの深度を表示。リクエスト数の多いページは重要ないし頻繁に変更が加えられていると解釈され、リクエスト数が少ないと重要性が低いないし更新頻度が低いためクロールの必要性も低いと検索エンジンが解釈することになる。
• ボットヒット分布トレンド – ログサマリ内にあるボットヒットのあるページのトレンドを表示。プロジェクト設定におけるレベルに応じて分布表示される。

クロールバジェット：

• クロールバジェットグラフ – ボットヒットのないプライマリページと、ボットヒットのある重複ページ、インデックス不可のページ、エラーページ、リダイレクトページの分布を表示。
• クロールバジェットトレンド – ボットヒットのないプライマリページと、ボットヒットのある重複ページ、インデックス不可のページ、エラーページ、リダイレクトページを表示するトレンドグラフ
• ステータスコードによるボットヒットのある非200ページ – ボットヒットのあるページの非200ステータスコードの分布を表示

パフォーマンス

概要：

• スローパフォーマンスページ – スローパフォーマンスとしてクロールで検出されたページの分布を表示
• スローパフォーマンスページトレンド – スローパフォーマンスの問題が発生しているページの時系列トレンドを表示
• アベレージパフォーマンスページ – 平均的なパフォーマンスのページの分布を表示
• ファーストパフォーマンスページ – ファーストパフォーマンスとして検出されたページの分布を表示

フェッチタイム：

• URLフェッチタイムトレンド – 各URLのフェッチに要した時間のトレンドを表示

サーバーレスポンス：

• サーバーレスポンスタイムトレンド – クロールした各URLのTime to First Byte (TTFB)の時系列トレンドを表示

First Contentful Paint:

• First Contentful Paint変化トレンド – First Contentful Paintの変化トレンドを表示

Largest Contentful Paint:

• Largest Contentful Paint変化トレンド – First Contentful Paintの変化トレンドを表示

Cumulative Layout Shift:

• CLSトレンド – Cumulative Layout Shiftの変化トレンドを表示

Time to Interactive:

• Time to Interactiveトレンド – Time to Interactiveの変化トレンドを表示

DOM Content Load トレンド：

• DOM Content Loadトレンド – DOM Content Loadの変化トレンドを表示

ソースギャップ

概要：

• クロールソースグラフに存在する/しないページ – 個別ソース（＝ウェブ、サイトマップ、GSC、アナリティクス、ログファイル、リストクロール）にて検出された/されなかったページの分布を表示
• ソーストレンドに存在しないページ – 個別ソースにて検出されなかったページのトレンドを表示

ウェブクロール：

• ウェブ上のページトレンド – ウェブクロールで検出された、またはされていないページのトレンドを表示

リスト：

• リスト上のページトレンド – リスト上で検出された、またはされていないページのトレンドを表示

サイトマップ：

• サイトマップ上のページトレンド – サイトマップ上で検出された、またはされていないページのトレンドを表示

バックリンク：

• バックリンク内のページトレンド – バックリンクURLで検出された、またはされていないページのトレンドを表示

アナリティクス：

• アナリティクス内のページトレンド – アナリティクスで検出された、またはされていないページのトレンドを表示

サーチコンソール：

• サーチコンソール内のページトレンド – サーチコンソールで検出された、またはされていないページのトレンドを表示

ログサマリ：

• ログサマリ内のページトレンド – ログサマリで検出された、またはされていないページのトレンドを表示

Lumar（旧DeepCrawl）では更に多くのグラフやレポートの準備を進めており、随時アップデートしていきます。