クローラーの使い方
- 1
Googleアカウントでログインします。クローラーは無料で、ログインが唯一の条件です。
- 2
開始するURLを入力します。通常はトップページで、例：https://example.com。
- 3
クロールを開始します。開始ページを読み込んだあと、同じホスト名の別ページへのリンクを1ページずつたどり、100ページに達するかリンクがなくなるまで続けます。
- 4
サマリーと表を確認し、レポートをCSVで書き出して表計算ソフトで並べ替えや絞り込みを行います。
クローラーがチェックする項目
読み込んだページごとに、レポートには次の内容が表示されます。 • HTTPステータスコード（200は正常、4xxと5xxはエラー） • タイトルとその文字数（30文字未満は短すぎ、60文字超は長すぎと表示） • メタディスクリプションとその文字数（70文字未満は短すぎ、160文字超は長すぎ） • H1見出しの数（通常は1ページに1つ） • 代替テキスト（alt）のない画像の数 • 内部リンクと外部リンクの数 • HTMLのサイズと読み込み時間 サマリーでは、欠落しているタイトル・ディスクリプション・H1、altのない画像、エラーを返したページを集計します。 注：文字数の目安は英語などのラテン文字を想定したものです。日本語のタイトルや説明文は、通常もっと短くなります。
チェックしない項目
クローラーはサーバーが返すHTMLを読み込みます。JavaScriptは実行しないため、スクリプトの実行後に表示される内容は見えません。robots.txtやXMLサイトマップは読まず、入力したホスト名と完全に一致するリンクだけをたどり（www.example.comとexample.comは別サイト扱い）、100ページで停止します。ページ基本要素の簡易チェックとして使い、完全な技術監査の代わりにはしないでください。インデックス登録、canonicalタグ、hreflang、Core Web VitalsはGoogle Search Consoleなど別のツールで確認します。
よくある質問
クローラーは本当に無料ですか？
はい。料金はかからず、カードも不要です。クロールを始めるにはGoogleアカウントでログインするだけです。
100ページより少ないのはなぜですか？
すでに読み込んだページから、同じホスト名でリンクされているページしか見つけられません。JavaScriptのメニューからしかリンクされていないページ、サイトマップにしかないページ、どこからもリンクされていないページは見つかりません。10秒以内に読み込まれないページはスキップされます。
タイトルとメタディスクリプションの長さは？
レポートでは30〜60文字のタイトルと70〜160文字のディスクリプションを良好としています。これはラテン文字の言語でよく使われる目安で、ルールではありません。Googleはピクセル幅でスニペットを切り詰め、書き換えることもあります。日本語は全角文字の幅が広いため、タイトルは30文字前後、説明文は80〜120文字程度がひとつの目安です。検索する人に向けて書き、重要な語句を先頭に置きましょう。
自分のものではないサイトをクロールしてもよいですか？
クローラーはブラウザと同じように公開ページを読み込みます。自分が所有するサイトか、確認の許可を得たサイトだけをクロールしてください。1回のクロールでそのサイトに最大100件のリクエストが送られます。
Googlebotと同じようにページを表示しますか？
完全には同じではありません。サーバーが返すHTML（Googlebotが最初に取得するもの）を読み込みますが、Googleのレンダラーのように JavaScript は実行しません。Googleがページをどうレンダリングするかは、Google Search ConsoleのURL検査ツールで「クロール済みのページを表示」を開いて確認してください。