크롤러 사용 방법
- 1
Google 계정으로 로그인합니다. 크롤러는 무료이며 로그인만 하면 됩니다.
- 2
시작 주소를 입력합니다. 보통 홈페이지이며, 예를 들면 https://example.com입니다.
- 3
크롤링을 시작합니다. 시작 페이지를 읽은 뒤 같은 호스트 이름의 다른 페이지로 가는 링크를 하나씩 따라가며, 100페이지를 읽거나 더 이상 링크가 없을 때 멈춥니다.
- 4
요약과 표를 확인한 뒤 보고서를 CSV로 내보내 스프레드시트에서 정렬하고 필터링합니다.
크롤러가 점검하는 항목
읽은 페이지마다 보고서에 다음 내용이 표시됩니다. • HTTP 상태 코드(200은 정상, 4xx와 5xx는 오류) • 제목과 길이(30자 미만은 너무 짧음, 60자 초과는 너무 김) • 메타 설명과 길이(70자 미만은 짧음, 160자 초과는 김) • H1 제목 수(보통 페이지당 하나) • 대체 텍스트(alt)가 없는 이미지 수 • 내부 링크와 외부 링크 수 • HTML 크기와 로딩 시간 요약에서는 누락된 제목, 설명, H1과 alt 없는 이미지, 오류를 반환한 페이지를 합산합니다. 참고: 글자 수 기준은 영어처럼 라틴 문자를 쓰는 언어를 기준으로 한 것입니다. 한국어 제목과 설명은 보통 더 짧습니다.
점검하지 않는 항목
크롤러는 서버가 보내는 HTML을 읽습니다. JavaScript를 실행하지 않으므로 스크립트가 실행된 뒤에만 나타나는 콘텐츠는 보지 못합니다. robots.txt와 XML 사이트맵은 읽지 않고, 입력한 호스트 이름과 정확히 같은 링크만 따라가며(www.example.com과 example.com은 다른 사이트로 봄), 100페이지에서 멈춥니다. 페이지 기본 요소를 빠르게 점검하는 용도로 쓰고, 완전한 기술 감사로 여기지는 마세요. 색인, canonical 태그, hreflang, Core Web Vitals는 Google Search Console 같은 다른 도구로 확인해야 합니다.
자주 묻는 질문
크롤러는 정말 무료인가요?
네. 비용이 들지 않고 카드도 필요 없습니다. 크롤링을 시작하려면 Google 계정으로 로그인하기만 하면 됩니다.
왜 100페이지보다 적게 읽었나요?
이미 읽은 페이지에서 같은 호스트 이름으로 연결된 페이지만 찾을 수 있습니다. JavaScript 메뉴에서만 링크된 페이지, 사이트맵에만 있는 페이지, 어디에서도 링크되지 않은 페이지는 찾지 못합니다. 10초 안에 로딩되지 않는 페이지는 건너뜁니다.
제목과 메타 설명은 얼마나 길어야 하나요?
보고서는 30~60자의 제목과 70~160자의 설명을 양호로 봅니다. 이는 라틴 문자 언어에서 흔히 쓰는 기준일 뿐 규칙은 아닙니다. Google은 스니펫을 픽셀 너비로 자르고 때로는 다시 씁니다. 한글은 글자 폭이 넓어 제목은 30자 안팎, 설명은 80~110자 정도가 대략적인 기준입니다. 검색하는 사람을 위해 쓰고 중요한 단어를 앞에 두세요.
내 사이트가 아닌 곳도 크롤링할 수 있나요?
크롤러는 브라우저처럼 공개 페이지를 읽습니다. 본인 소유이거나 점검 허락을 받은 사이트만 크롤링하세요. 크롤링할 때마다 그 사이트에 최대 100번의 요청이 전송됩니다.
Googlebot이 보는 것과 똑같이 페이지를 보여 주나요?
완전히 같지는 않습니다. 서버가 보내는 HTML, 즉 Googlebot이 가장 먼저 가져오는 내용을 읽지만, Google 렌더러처럼 JavaScript를 실행하지는 않습니다. Google이 페이지를 어떻게 렌더링하는지 보려면 Google Search Console의 URL 검사 도구에서 ‘크롤링된 페이지 보기’를 여세요.