So nutzen Sie den Crawler
- 1
Melden Sie sich mit Ihrem Google-Konto an. Der Crawler kostet nichts, die Anmeldung ist die einzige Voraussetzung.
- 2
Geben Sie die Startadresse ein, meist Ihre Startseite, zum Beispiel https://example.com.
- 3
Starten Sie den Crawl. Er liest die Startseite und folgt dann Links zu weiteren Seiten auf demselben Hostnamen, eine nach der anderen, bis 100 Seiten gelesen sind oder keine Links mehr übrig sind.
- 4
Prüfen Sie Zusammenfassung und Tabelle und exportieren Sie den Bericht als CSV, um ihn in einer Tabellenkalkulation zu sortieren und zu filtern.
Was der Crawler prüft
Für jede gelesene Seite zeigt der Bericht: • den HTTP-Statuscode (200 ist in Ordnung, 4xx und 5xx sind Fehler); • den Titel und seine Länge, markiert als zu kurz unter 30 und zu lang über 60 Zeichen; • die Meta-Beschreibung und ihre Länge, zu kurz unter 70 und zu lang über 160 Zeichen; • die Zahl der H1-Überschriften (üblich ist eine pro Seite); • wie viele Bilder keinen Alt-Text haben; • die Zahl der internen und externen Links; • die Größe des HTML und die Ladezeit. Die Zusammenfassung zählt fehlende Titel, Beschreibungen und H1, Bilder ohne Alt-Text und Seiten mit Fehlerstatus.
Was er nicht prüft
Der Crawler liest das HTML, das Ihr Server ausliefert. Er führt kein JavaScript aus; Inhalte, die erst per Skript erscheinen, sieht er also nicht. Er liest weder robots.txt noch Ihre XML-Sitemap, folgt nur Links auf genau dem eingegebenen Hostnamen (www.example.com und example.com gelten als verschiedene Websites) und hört nach 100 Seiten auf. Nutzen Sie ihn als schnellen Check der On-Page-Grundlagen, nicht als vollständiges technisches Audit: Indexierung, Canonical-Tags, hreflang und Core Web Vitals prüfen Sie mit anderen Tools wie der Google Search Console.
Häufige Fragen
Ist der Crawler wirklich kostenlos?
Ja. Es fallen keine Kosten an, und Sie brauchen keine Karte. Für einen Crawl müssen Sie sich nur mit einem Google-Konto anmelden.
Warum wurden weniger als 100 Seiten gelesen?
Der Crawler findet nur Seiten, die von bereits gelesenen Seiten auf demselben Hostnamen verlinkt sind. Seiten, die nur über JavaScript-Menüs verlinkt sind, nur in der Sitemap stehen oder gar nicht verlinkt sind, findet er nicht. Seiten, die nicht innerhalb von 10 Sekunden laden, werden übersprungen.
Wie lang sollten Titel und Meta-Beschreibungen sein?
Der Bericht bewertet Titel mit 30–60 und Beschreibungen mit 70–160 Zeichen als gut. Das sind gängige Richtwerte, keine Regeln: Google kürzt Snippets nach Pixelbreite und schreibt sie manchmal um. Schreiben Sie für Suchende und setzen Sie die wichtigsten Wörter an den Anfang.
Darf ich fremde Websites crawlen?
Der Crawler liest öffentliche Seiten wie ein Browser. Crawlen Sie nur Websites, die Ihnen gehören oder für die Sie eine Erlaubnis haben, und bedenken Sie, dass jeder Crawl bis zu 100 Anfragen an diese Website sendet.
Zeigt er meine Seiten so, wie Googlebot sie sieht?
Nicht ganz. Er liest das HTML, das Ihr Server ausliefert – also das, was Googlebot zuerst abruft –, führt aber kein JavaScript aus, wie es Googles Renderer tut. Wie Google eine Seite rendert, sehen Sie mit der URL-Prüfung in der Google Search Console unter „Gecrawlte Seite anzeigen“.