Zo gebruik je de crawler
- 1
Log in met je Google-account. De crawler is gratis; inloggen is de enige voorwaarde.
- 2
Vul het startadres in, meestal je homepage, bijvoorbeeld https://example.com.
- 3
Start de crawl. Hij leest de startpagina en volgt dan links naar andere pagina's op dezelfde hostnaam, één voor één, tot hij 100 pagina's heeft gelezen of geen links meer vindt.
- 4
Bekijk de samenvatting en de tabel en exporteer het rapport als CSV om het in een spreadsheet te sorteren en te filteren.
Wat de crawler controleert
Voor elke gelezen pagina toont het rapport: • de HTTP-statuscode (200 is goed; 4xx en 5xx zijn fouten); • de titel en de lengte ervan, gemarkeerd als te kort onder 30 tekens en te lang boven 60; • de metabeschrijving en de lengte ervan, te kort onder 70 tekens en te lang boven 160; • het aantal H1-koppen (één per pagina is het gebruikelijke doel); • hoeveel afbeeldingen geen alt-tekst hebben; • het aantal interne en externe links; • de grootte van de HTML en de laadtijd. De samenvatting telt ontbrekende titels, beschrijvingen en H1's, afbeeldingen zonder alt-tekst en pagina's die een fout gaven.
Wat hij niet controleert
De crawler leest de HTML die je server verstuurt. Hij voert geen JavaScript uit, dus inhoud die pas na scripts verschijnt, ziet hij niet. Hij leest robots.txt en je XML-sitemap niet, volgt alleen links op precies de hostnaam die je invulde (www.example.com en example.com gelden als verschillende sites) en stopt bij 100 pagina's. Gebruik hem als snelle check van de on-page basis, niet als volledige technische audit: indexering, canonical-tags, hreflang en Core Web Vitals controleer je met andere tools, zoals Google Search Console.
Veelgestelde vragen
Is de crawler echt gratis?
Ja. Het kost niets en je hebt geen creditcard nodig. Je hoeft alleen in te loggen met een Google-account om een crawl te starten.
Waarom las hij minder dan 100 pagina's?
Hij vindt alleen pagina's die gelinkt zijn vanaf pagina's die hij al gelezen heeft, op dezelfde hostnaam. Pagina's die alleen via JavaScript-menu's gelinkt zijn, alleen in de sitemap staan of nergens gelinkt zijn, vindt hij niet. Pagina's die niet binnen 10 seconden laden, worden overgeslagen.
Hoe lang moeten titels en metabeschrijvingen zijn?
Het rapport noemt titels van 30–60 tekens en beschrijvingen van 70–160 tekens goed. Dat zijn gangbare richtlijnen, geen regels: Google kort snippets in op pixelbreedte en herschrijft ze soms. Schrijf voor de zoeker en zet de belangrijkste woorden vooraan.
Mag ik een site crawlen die niet van mij is?
De crawler leest openbare pagina's zoals een browser dat doet. Crawl alleen sites die van jou zijn of die je mag controleren, en bedenk dat elke crawl tot 100 verzoeken naar die site stuurt.
Laat hij mijn pagina’s zien zoals Googlebot ze ziet?
Niet precies. Hij leest de HTML die je server stuurt, en dat is wat Googlebot als eerste ophaalt, maar hij voert geen JavaScript uit zoals de renderer van Google. Wil je zien hoe Google een pagina rendert, gebruik dan de URL-inspectietool in Google Search Console en open ‘Gecrawlde pagina bekijken’.