Как пользоваться краулером
- 1
Войдите через аккаунт Google. Краулер бесплатный, вход — единственное условие.
- 2
Введите стартовый адрес, обычно главную страницу, например https://example.com.
- 3
Запустите проверку. Краулер читает стартовую страницу, а затем переходит по ссылкам на другие страницы того же хоста, по одной, пока не прочитает 100 страниц или ссылки не закончатся.
- 4
Посмотрите сводку и таблицу, затем выгрузите отчёт в CSV, чтобы сортировать и фильтровать его в таблице.
Что проверяет краулер
Для каждой прочитанной страницы отчёт показывает: • код ответа HTTP (200 — всё в порядке; 4xx и 5xx — ошибки); • title и его длину: меньше 30 символов — слишком коротко, больше 60 — слишком длинно; • meta description и её длину: меньше 70 символов — коротко, больше 160 — длинно; • количество заголовков H1 (обычно нужен один на страницу); • сколько изображений без атрибута alt; • количество внутренних и внешних ссылок; • размер HTML и время загрузки. В сводке подсчитаны пустые title, description и H1, изображения без alt и страницы с ошибкой.
Чего он не проверяет
Краулер читает HTML, который отдаёт ваш сервер. Он не выполняет JavaScript, поэтому не видит контент, появляющийся только после работы скриптов. Он не читает robots.txt и XML-карту сайта, переходит только по ссылкам на точно том же хосте, который вы ввели (www.example.com и example.com считаются разными сайтами), и останавливается на 100 страницах. Это быстрая проверка базовых вещей на странице, а не полный технический аудит: индексацию, canonical, hreflang и Core Web Vitals проверяют другими инструментами, например в Google Search Console.
Частые вопросы
Краулер действительно бесплатный?
Да. Он ничего не стоит, карта не нужна. Чтобы запустить проверку, достаточно войти через аккаунт Google.
Почему он прочитал меньше 100 страниц?
Он находит только страницы, на которые ведут ссылки с уже прочитанных страниц того же хоста. Страницы, на которые ссылаются только из меню на JavaScript, которые есть только в карте сайта или на которые нет ссылок, он не найдёт. Страницы, которые не загрузились за 10 секунд, пропускаются.
Какой длины должны быть title и meta description?
Отчёт считает хорошими title длиной 30–60 символов и описания длиной 70–160. Это распространённые ориентиры, а не правила: Google обрезает сниппеты по ширине в пикселях и иногда переписывает их. Пишите для человека и ставьте важные слова в начало.
Можно ли проверять чужой сайт?
Краулер читает публичные страницы так же, как браузер. Проверяйте только свои сайты или те, на которые у вас есть разрешение, и помните, что каждая проверка отправляет на сайт до 100 запросов.
Показывает ли он страницы так, как их видит Googlebot?
Не совсем. Он читает HTML, который отдаёт ваш сервер, — именно его Googlebot получает первым, — но не выполняет JavaScript, как это делает рендерер Google. Чтобы увидеть, как Google отображает страницу, воспользуйтесь инструментом проверки URL в Google Search Console и откройте «Просмотреть просканированную страницу».