如何使用网站爬虫
- 1
使用 Google 账号登录。爬虫免费，登录是唯一的要求。
- 2
输入起始地址，通常是您的首页，例如 https://example.com。
- 3
开始抓取。爬虫先读取起始页，再逐个跟随指向同一主机名下其他页面的链接，直到读完 100 个页面或没有更多链接为止。
- 4
查看汇总和表格，然后把报告导出为 CSV，在表格软件中排序和筛选。
爬虫会检查什么
对于读取的每个页面，报告会显示： • HTTP 状态码（200 正常；4xx 和 5xx 为错误）； • 标题及其长度，少于 30 个字符标为过短，超过 60 个字符标为过长； • meta 描述及其长度，少于 70 个字符为过短，超过 160 个字符为过长； • H1 标题的数量（通常每页一个）； • 缺少替代文本（alt）的图片数量； • 内部链接和外部链接的数量； • HTML 大小和页面加载时间。 汇总会统计缺失的标题、描述和 H1，缺少 alt 的图片，以及返回错误的页面。 注意：长度按字符数计算，这些阈值是针对英文等拉丁字母语言的常见参考；中文标题和描述通常更短。
它不会检查什么
爬虫读取的是服务器返回的 HTML，不执行 JavaScript，因此看不到只有在脚本运行后才出现的内容。它不读取 robots.txt 和 XML 站点地图，只跟随您输入的确切主机名下的链接（www.example.com 和 example.com 视为不同网站），并在 100 个页面时停止。请把它当作页面基础要素的快速检查，而不是完整的技术审计：索引、canonical 标签、hreflang 和 Core Web Vitals 需要借助 Google Search Console 等其他工具。
常见问题
爬虫真的免费吗？
是的。不收费，也不需要银行卡。只需使用 Google 账号登录即可开始抓取。
为什么读取的页面少于 100 个？
它只能找到从已读取页面链接过来、且位于同一主机名下的页面。只通过 JavaScript 菜单链接、只出现在站点地图中或没有任何链接指向的页面都找不到。10 秒内未加载完成的页面会被跳过。
标题和 meta 描述应该多长？
报告把 30–60 个字符的标题和 70–160 个字符的描述视为良好。这些是针对拉丁字母语言的常见参考，而非规则：Google 按像素宽度截断摘要，有时还会改写。中文字符更宽，通常标题约 30 个汉字、描述约 80 个汉字就足够。请为搜索者写作，把重要的词放在前面。
可以抓取不属于我的网站吗？
爬虫像浏览器一样读取公开页面。请只抓取您拥有或获准检查的网站，并注意每次抓取最多会向该网站发送 100 个请求。
它显示的页面和 Googlebot 看到的一样吗？
不完全一样。它读取服务器返回的 HTML，也就是 Googlebot 最先抓取的内容，但不会像 Google 的渲染器那样执行 JavaScript。要查看 Google 如何渲染页面，请使用 Google Search Console 的网址检查工具，并打开“查看已抓取的网页”。