/lesson-28

SEO를 위한 Python: 지루한 작업 자동화

Python으로 SEO 자동화: Pandas, Requests로 상태 코드 확인, 메타데이터 추출, Search Console 데이터 수집.

레슨 28/3020 분 소요2026. 9. 27. 업데이트

핵심 요약

  • Pandas, Requests, BeautifulSoup, Advertools로 일상적인 SEO 자동화의 대부분을 해결할 수 있습니다.
  • 짧은 스크립트 하나로 수천 개 URL의 상태 코드를 한 번에 확인할 수 있습니다.
  • Search Console API로 데이터를 백업할 수 있으며, 인터페이스에는 16개월치만 남습니다.
  • Pandas는 도시와 인구 데이터 같은 데이터셋을 스프레드시트 조회 함수보다 훨씬 빠르게 병합합니다.

수천 개의 페이지를 관리하거나(프로그래매틱 SEO 프로젝트처럼) 방대한 데이터 세트를 분석하는 경우 Excel은 결국 중단됩니다. Python은 이러한 한계를 극복하기 위한 업계 표준입니다. 반복적인 작업을 자동화하고, API에 연결하고, 수백만 행의 데이터를 몇 초 만에 분석할 수 있습니다.

SEO에 Python을 사용하기 위해 소프트웨어 엔지니어가 될 필요는 없습니다. 몇 시간의 수작업을 단일 스크립트로 대체하려면 몇 가지 특정 라이브러리만 알면 됩니다.

1. SEO Python 스택

Python에는 수천 개의 라이브러리가 있지만, SEO 전문가는 주로 다음 네 가지를 사용합니다.

  • Pandas: "Excel 킬러". 수백만 행의 데이터 테이블(DataFrames)을 즉시 조작할 수 있습니다.
  • Requests: 스크립트가 브라우저처럼 웹 페이지를 방문하여 상태 코드를 확인하거나 HTML을 다운로드할 수 있게 해줍니다.
  • BeautifulSoup: HTML 코드를 읽고 특정 요소(H1 태그, 메타 설명 또는 가격 등)를 추출할 수 있게 해주는 파서입니다.
  • Advertools: SERP 분석, 사이트 크롤링 및 GSC 데이터 관리를 위해 만들어진 전문 SEO 라이브러리입니다.

2. 실제 사용 사례: "대량 상태 검사기"

10,000개의 URL 목록이 있고 어떤 URL이 깨졌는지(404) 알아야 한다고 상상해 보십시오. 수동으로 확인하는 것은 불가능합니다.

다음은 requests 라이브러리를 사용하여 이를 자동화하는 간단한 스크립트입니다.

import requests
import pandas as pd

# 1. 확인할 URL 목록
urls = [
    "https://example.com",
    "https://example.com/broken-page",
    "https://example.com/about"
]

results = []

# 2. 각 URL 반복
for url in urls:
    try:
        response = requests.get(url, timeout=5)
        # 데이터 저장
        results.append({
            "URL": url,
            "Status Code": response.status_code,
            "Redirect": response.url if response.history else "No Redirect"
        })
    except:
        results.append({"URL": url, "Status Code": "Error", "Redirect": "-"})

# 3. 읽기 쉬운 테이블(DataFrame)로 저장
df = pd.DataFrame(results)
print(df)

# 출력 예:
#                            URL  Status Code     Redirect
# 0          https://example.com          200  No Redirect
# 1  https://example.com/broken           404  No Redirect

3. 실제 사용 사례: 메타 데이터 추출 (Scraping)

패턴을 찾기 위해 경쟁사의 상위 100개 페이지의 제목 태그를 분석해야 하는 경우 BeautifulSoup을 사용할 수 있습니다.

from bs4 import BeautifulSoup
import requests

url = "https://example.com/blog-post"
response = requests.get(url)

# HTML 콘텐츠 파싱
soup = BeautifulSoup(response.content, 'html.parser')

# 특정 요소 추출
title = soup.title.string
h1 = soup.find('h1').text
meta_desc = soup.find('meta', attrs={'name': 'description'})['content']

print(f"Title: {title}")
print(f"H1: {h1}")
print(f"Description: {meta_desc}")

4. 실제 사용 사례: API 작업 (GSC)

매일 Google Search Console(GSC)에서 "내보내기"를 클릭하는 대신 Python을 사용하여 데이터를 자동으로 가져올 수 있습니다. GSC는 16개월의 기록만 저장하므로 이는 데이터를 백업하는 데 필수적입니다.

워크플로:

  1. Google Cloud Platform에서 Google Search Console API를 활성화합니다.
  2. credentials.json 파일을 다운로드합니다.
  3. 인증을 단순화하기 위해 git+https://github.com/joshcarty/google-searchconsole과 같은 래퍼 라이브러리를 사용합니다.
import searchconsole

# 인증
account = searchconsole.authenticate(client_config='credentials.json')
webproperty = account['https://www.example.com/']

# 데이터 요청
report = webproperty.query.range('today', days=-30).dimension('query').get()

# 상위 5개 검색어 인쇄
for row in report[:5]:
    print(row.query, row.clicks, row.impressions)

5. Pandas로 데이터 분석

pSEO에서는 종종 데이터 세트를 병합해야 합니다(예: "도시" 목록과 "인구 데이터" 목록 병합). Excel에서는 느린 VLOOKUP이 필요합니다. Python에서는 즉시 수행됩니다.

import pandas as pd

# 두 개의 CSV 파일 로드
df_cities = pd.read_csv("cities.csv") # 열: [City, State]
df_stats = pd.read_csv("population.csv") # 열: [City, Population]

# 병합 (VLOOKUP)
df_merged = pd.merge(df_cities, df_stats, on="City", how="left")

# 필터: 인구가 100,000명 이상인 도시만 표시
df_big_cities = df_merged[df_merged['Population'] > 100000]

# pSEO 도구용으로 새 CSV로 내보내기
df_big_cities.to_csv("pseo_ready_data.csv", index=False)

결론

Python은 당신을 SEO 전문가에서 SEO 엔지니어로 바꿔줍니다. Excel을 중단시킬 수 있는 데이터 세트를 처리하고 그렇지 않으면 몇 시간이 걸릴 일일 검사를 자동화할 수 있습니다. 프로그래매틱 SEO에 관심이 있으므로 데이터 정리를 위한 pandas를 마스터하는 것은 배울 수 있는 가장 큰 영향력을 가진 단일 기술입니다.

/wizard

배운 내용을 실천해 보세요

pSEO Wizard는 웹사이트를 읽고 검색어마다 랜딩 페이지를 하나씩 작성합니다. 웹사이트에 있는 사실만 사용합니다.

무료 페이지 만들기

첫 페이지는 무료입니다. 카드가 필요 없습니다.