Python 라이브러리 BeautifulSoup 사용법과 웹 스크래핑

웹 스크래핑의 이해

웹 스크래핑은 특정 웹사이트에서 원하는 정보를 추출하는 프로세스입니다. 이 과정은 자동화를 통해 수많은 페이지에서 데이터를 수집할 수 있어, 데이터 분석, 연구, 비즈니스 인사이트 확보 등에 유용하게 활용됩니다. 일반적으로 웹 스크래핑은 몇 가지의 정해진 절차를 따릅니다. 이러한 절차를 잘 숙지하면 웹 스크래핑 작업이 한결 수월해질 것입니다.

웹 스크래핑 프로세스

웹 스크래핑의 기본적인 흐름은 다음과 같습니다:

• 대상 웹페이지에 대한 요청을 보내고 HTML 코드를 가져옵니다.
• BeautifulSoup을 사용하여 HTML 코드를 파싱합니다.
• 파싱된 데이터를 기반으로 원하는 정보를 선택하고 추출합니다.
• 추출한 데이터를 원하는 형식으로 출력합니다.

1단계: 웹페이지 요청

첫 번째 단계는 스크래핑할 웹페이지의 HTML 소스를 가져오는 것입니다. 이를 위해 보통 ‘requests’라는 라이브러리를 사용합니다. 이 라이브러리를 활용하면 HTTP 요청을 쉽게 보낼 수 있으며, 응답으로 HTML 내용을 받을 수 있습니다.

2단계: HTML 파싱

가져온 HTML 문서는 구조가 복잡할 수 있으니, 이를 정리하기 위해 BeautifulSoup을 사용해 파싱합니다. BeautifulSoup은 HTML 코드의 구조를 이해하고, 쉽게 탐색할 수 있도록 돕는 파이썬 라이브러리입니다. 파싱이란, 문자열 데이터를 분석하고 구조화하여 목적한 패턴에 맞게 처리하는 과정을 의미합니다. HTML 문서를 BeautifulSoup 객체로 변환하면, 이제 데이터를 손쉽게 탐색할 수 있습니다.

3단계: 데이터 선택

이제 파싱된 데이터에서 원하는 정보를 선택하는 과정이 필요합니다. ‘find_all’ 또는 ‘select’ 메소드를 통해 HTML 요소를 탐색하며, 필요한 데이터를 추출할 수 있습니다. 예를 들어, 특정 클래스명이나 태그명을 통해 원하는 정보를 필터링하여 쉽게 찾을 수 있습니다. 이때, 반복문을 사용하여 여러 개의 데이터를 한꺼번에 처리할 수 있습니다.

4단계: 데이터 출력

마지막 단계는 추출한 데이터를 출력하는 것입니다. 데이터는 콘솔에 출력할 수도 있고, CSV 파일 같은 형태로 저장할 수도 있습니다. CSV 포맷은 데이터 분석과 엑셀과의 호환성 덕분에 매우 유용하게 사용됩니다. Python 내장 모듈인 ‘csv’를 사용해서 데이터를 파일에 정리할 수 있습니다.

BeautifulSoup 사용법

BeautifulSoup을 사용하기 위해서는 먼저 필요한 라이브러리를 설치해야 합니다. 아나콘다 또는 pip를 통해 쉽게 설치할 수 있습니다:

pip install beautifulsoup4
pip install requests

BeautifulSoup 기본 사용법

라이브러리 설치 후, 다음과 같은 과정을 통해 웹 페이지에서 데이터를 추출할 수 있습니다:

import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 특정 태그의 내용 추출 예시
title = soup.find('h1').text
print(title)

특정 데이터 추출하기

BeautifulSoup의 ‘find’와 ‘find_all’ 메소드를 사용하여 특정 데이터를 간편하게 찾을 수 있습니다. ‘find’는 첫 번째 항목만 반환하며, ‘find_all’은 조건에 맞는 모든 항목을 리스트 형태로 반환합니다. 이 외에도 CSS 선택자를 사용한 ‘select’ 메소드도 유용하게 사용됩니다.

HTML 구조 탐색

BeautifulSoup은 HTML 문서의 트리 구조를 쉽게 탐색할 수 있는 기능을 제공합니다. 부모와 자식 요소 간의 관계를 이용해 원하는 데이터를 편리하게 찾아낼 수 있습니다. 예를 들어, 부모 div 아래에 있는 모든 p 태그를 찾는 코드는 다음과 같습니다:

div_element = soup.find('div')
paragraphs = div_element.find_all('p')
for p in paragraphs:
  print(p.text)

실제 예제: 베스트셀러 제품 정보 스크래핑

예를 들어, 네이버 쇼핑의 베스트셀러 제품 정보를 스크래핑하여 제품명, 가격, 링크, 리뷰 수를 가져오는 코드를 살펴보겠습니다. 이를 통해 BeautifulSoup의 작업 프로세스를 체험해볼 수 있습니다.

import requests
from bs4 import BeautifulSoup
import csv
url = "https://search.shopping.naver.com/"
headers = {'User-Agent': 'Mozilla/5.0'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.select("#productListArea > ul > li")
product_list = []
for item in items:
  name = item.select_one("p > a")["title"]
  price = item.select_one("div.price > strong > span.num").text
  link = item.select_one("p > a")["href"]
  review_number = item.select_one("div.info > span > a.txt > em").text
  product_list.append([name, price, link, review_number])
with open('products.csv', "w", encoding="utf-8-sig", newline="") as f:
  writer = csv.writer(f)
  writer.writerow(['제품명', '가격', '링크', '리뷰 수'])
  writer.writerows(product_list)

결론

이번 포스트에서는 웹 스크래핑의 기본 개념과 Python 라이브러리 BeautifulSoup를 활용한 실제 예제를 살펴보았습니다. 웹 스크래핑은 데이터를 수집하고 분석하는 데 매우 유용하며, BeautifulSoup은 이 과정을 간소화해주는 강력한 도구입니다. 적절하게 활용하면 많은 시간을 절약할 수 있습니다.

데이터 스크래핑을 통해 수집한 정보는 다양한 방식으로 활용될 수 있으며, 이를 통해 개인이나 기업 모두 더 나은 의사 결정을 내릴 수 있을 것입니다. 웹 스크래핑을 통해 여러분의 데이터 수집 작업이 한층 더 효율적으로 진행되기를 바랍니다.

자주 찾는 질문 Q&A