🐍 파이썬 웹 크롤러/스캐너, 뼈대부터 제대로 설계하기

안녕하세요! 👋 코딩의 세계를 탐험하는 여러분, 오늘은 웹의 광대한 바다에서 원하는 정보를 콕콕 집어내는 똑똑한 거미, '웹 크롤러'와 '웹 스캐너'의 기본 구조를 파이썬으로 설계하는 방법에 대해 알아보겠습니다. 블로그 포스트처럼 친근하고 상세하게, 이모지와 함께 설명해 드릴게요! 🤖

 

---

🤔 웹 크롤러 vs. 웹 스캐너, 뭐가 다를까?

본격적인 설계에 앞서, 두 용어의 차이점을 간단히 짚고 넘어갈까요?

• 웹 크롤러 (Web Crawler): 마치 거미가 거미줄을 타고 이동하듯, 웹페이지를 돌아다니며 링크를 수집하고, 수집한 페이지의 정보를 가져오는 프로그램입니다. 주로 검색 엔진이 웹 전체의 정보를 인덱싱하기 위해 사용하죠. 🕷️
• 웹 스캐너 (Web Scanner): 특정 웹사이트나 웹 애플리케이션의 취약점을 찾거나, 특정 패턴의 데이터를 찾아내는 데 더 초점을 맞춘 프로그램입니다. 보안 전문가나 데이터 분석가들이 많이 사용합니다. 🕵️‍♀️

오늘 우리가 설계할 구조는 이 두 가지 목적에 모두 활용될 수 있는 기본적인 뼈대입니다.

---

뼈대 1: 튼튼한 시작을 위한 'URL 큐' 관리 🏗️

모든 크롤링의 시작은 '어디를 방문할 것인가?'에서 출발합니다. 수많은 URL을 효율적으로 관리하기 위해 우리는 URL 큐(Queue) 라는 자료구조를 사용합니다.

1. 시작점 (Seed URLs): 크롤링을 시작할 최초의 URL 목록입니다. 이 URL들이 큐에 가장 먼저 담깁니다.
2. 방문할 URL 큐 (To-Visit Queue): 아직 방문하지 않은 URL들을 저장하는 공간입니다. 새로운 링크를 발견하면 이곳에 추가됩니다.
3. 방문한 URL 집합 (Visited Set): 이미 방문한 URL을 기록하여 중복 방문을 방지합니다. 집합(Set) 자료구조를 사용하면 중복을 허용하지 않고, 탐색 속도가 매우 빠르다는 장점이 있습니다.

파이썬 코드 예시:

# 시작 URL 설정
seed_urls = ['https://example.com']

# 방문할 URL과 방문한 URL을 저장할 자료구조
to_visit_queue = list(seed_urls) # 리스트를 큐처럼 사용
visited_urls = set()

while to_visit_queue:
    # 큐에서 URL을 하나 꺼냄
    current_url = to_visit_queue.pop(0)

    # 이미 방문한 URL이면 건너뛰기
    if current_url in visited_urls:
        continue

    # 방문 처리
    visited_urls.add(current_url)
    print(f"방문 중: {current_url}")

    # (이후 과정은 아래에서 계속...)

---

뼈대 2: 웹페이지를 가져오는 'Fetcher' 🌐

URL을 정했다면, 이제 해당 URL의 웹페이지 내용을 가져와야 합니다. 이 역할을 하는 모듈을 'Fetcher'라고 부릅니다. 파이썬에서는 requests 라이브러리를 사용하면 아주 간단하게 구현할 수 있습니다.

핵심 기능:

• 주어진 URL로 HTTP GET 요청을 보냅니다.
• 요청에 대한 응답 (HTML, CSS, JavaScript 등)을 받아옵니다.
• 응답 상태 코드 (200 OK, 404 Not Found 등)를 확인하여 요청 성공 여부를 판단합니다.
• 타임아웃(Timeout) 설정을 통해 특정 시간 이상 응답이 없으면 요청을 중단하여 크롤러가 멈추는 것을 방지합니다.

파이썬 코드 예시 (requests 라이브러리 사용):

import requests

def fetch_html(url):
    """주어진 URL의 HTML 내용을 가져옵니다."""
    try:
        response = requests.get(url, timeout=5)
        # 요청이 성공했는지 확인
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"오류 발생: {url} - {e}")
        return None

---

뼈대 3: 정보의 보물찾기, 'Parser' ⛏️

가져온 HTML은 그냥 텍스트 덩어리에 불과합니다. 우리가 원하는 정보를 추출하거나, 다른 페이지로 이동할 수 있는 새로운 링크를 찾아내려면 HTML 코드를 분석해야 합니다. 이 역할을 'Parser'가 담당하며, 파이썬에서는 BeautifulSoup 라이브러리가 독보적인 인기를 자랑합니다.

핵심 기능:

• HTML 문서를 파싱하여 원하는 태그(tag)나 속성(attribute)에 쉽게 접근할 수 있는 객체로 만듭니다.
• CSS 선택자(Selector)나 태그 이름을 이용해 원하는 데이터를 추출합니다. (예: soup.select_one('h1').text -> <h1> 태그 안의 텍스트 추출)
• 페이지 내의 모든 하이퍼링크(<a> 태그의 href 속성)를 찾아내어 새로운 방문 후보 URL로 만듭니다.

파이썬 코드 예시 (BeautifulSoup 라이브러리 사용)

 

from bs4 import BeautifulSoup
from urllib.parse import urljoin # 상대 경로를 절대 경로로 변환하기 위함

def parse_links(base_url, html):
    """HTML에서 모든 링크를 추출하여 절대 경로로 반환합니다."""
    soup = BeautifulSoup(html, 'html.parser')
    links = set()
    for a_tag in soup.find_all('a', href=True):
        # 상대 경로를 절대 경로로 변환
        absolute_link = urljoin(base_url, a_tag['href'])
        links.add(absolute_link)
    return links

def parse_data(html):
    """HTML에서 원하는 데이터를 추출합니다. (예: 제목)"""
    soup = BeautifulSoup(html, 'html.parser')
    title = soup.select_one('h1')
    return title.text if title else "제목 없음"

---

뼈대 4: 수확한 데이터를 차곡차곡, 'Storage' 💾

크롤러가 열심히 모은 데이터는 어딘가에 저장해야겠죠? 간단하게는 CSV 파일이나 JSON 파일로 저장할 수 있고, 데이터의 양이 많거나 구조가 복잡하다면 SQLite, MySQL, MongoDB 같은 데이터베이스를 사용하는 것이 좋습니다.

저장 방식 선택:

• CSV (Comma-Separated Values): 표 형태의 간단한 데이터를 저장하기에 용이합니다.
• JSON (JavaScript Object Notation): 계층적인 구조를 가진 데이터를 저장하기에 좋습니다.
• 데이터베이스 (Database): 대용량 데이터를 효율적으로 관리하고 검색하고 싶을 때 최적의 선택입니다.

---

📜 종합: 전체 구조 합치기

이제 위에서 설계한 뼈대들을 하나로 합쳐볼까요?

1. 초기화: 시작 URL을 to_visit_queue에 넣습니다.
2. 루프 시작: to_visit_queue가 빌 때까지 반복합니다.
3. URL 가져오기: 큐에서 URL을 하나 꺼내 visited_urls에 추가합니다.
4. HTML 다운로드 (Fetcher): requests를 이용해 해당 URL의 HTML을 가져옵니다.
5. 정보/링크 추출 (Parser):
   • BeautifulSoup으로 HTML을 파싱합니다.
   • 원하는 데이터를 추출하여 Storage에 저장합니다.
   • 페이지 내의 모든 링크를 추출합니다.
6. 큐 업데이트: 새로 발견한 링크들 중, visited_urls에 없고 to_visit_queue에도 없는 링크만 to_visit_queue에 추가합니다.
7. 루프 반복: 2번으로 돌아가 반복합니다.

전체 코드 흐름 예시:

# ... (앞서 정의한 fetch_html, parse_links, parse_data 함수) ...

seed_urls = ['https://example.com']
to_visit_queue = list(seed_urls)
visited_urls = set()

while to_visit_queue:
    current_url = to_visit_queue.pop(0)

    if current_url in visited_urls:
        continue

    print(f"크롤링 중: {current_url}")
    visited_urls.add(current_url)

    # 1. Fetcher
    html_content = fetch_html(current_url)
    if not html_content:
        continue

    # 2. Parser (데이터 추출)
    title_data = parse_data(html_content)
    print(f"  - 제목: {title_data}")
    # (여기서 데이터를 파일이나 DB에 저장 - Storage)

    # 3. Parser (링크 추출)
    new_links = parse_links(current_url, html_content)

    # 4. 큐 업데이트
    for link in new_links:
        if link not in visited_urls and link not in to_visit_queue:
            to_visit_queue.append(link)

print("크롤링 완료!")

---

⚠️ 잊지 말아야 할 것들: 예의와 안정성

• robots.txt 존중: 크롤링을 시작하기 전에 항상 https://도메인/robots.txt 파일을 확인하여 사이트가 허용하는 크롤링 규칙을 따라야 합니다. 이는 웹 크롤링의 가장 기본적인 예의입니다! 🙏
• 과도한 요청 금지: 너무 짧은 간격으로 많은 요청을 보내면 대상 서버에 부하를 줄 수 있습니다. time.sleep() 함수를 이용해 요청 사이에 적절한 지연 시간(delay)을 주는 것이 좋습니다.
• 에러 처리: 네트워크 문제, 서버 응답 오류 등 예기치 못한 상황에 대비하여 항상 예외 처리(try-except) 구문을 꼼꼼하게 작성해야 합니다.

이제 여러분도 파이썬으로 강력한 웹 크롤러/스캐너를 만들 수 있는 기본기를 갖추셨습니다! 이 구조를 바탕으로 살을 붙여나가면, 무궁무진한 웹 데이터의 세계를 탐험할 수 있을 거예요. 즐거운 코딩 되세요! 🎉