🚅 크롤링 분석 프로젝트 (4) - 코레일 기차표 크롤링

코레일 기차표 크롤링

robots.txt를 통해 해당 사이트는 크롤링이 가능함을 확인했습니다.

하지만 크롤링을 과도하게 하는 것은 서버에 부담을 줄 수 있기에,

필요한 데이터만 정의하고 그 부분만 작업하는 것이 좋습니다.

 

 

import requests
from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait

# selenium 웹 드라이버 서비스 설정
service=Service(executable_path=ChromeDriverManager().install())
url='https://www.letskorail.com/ebizprd/EbizPrdTicketPr21111_i1.do?&txtGoAbrdDt=20241118&txtGoHour=071600&selGoYear=2024&selGoMonth=11&selGoDay=18&selGoHour=00&txtGoPage=2&txtGoStartCode=0001&txtGoStart=%EC%84%9C%EC%9A%B8&txtGoEndCode=0020&txtGoEnd=%EB%B6%80%EC%82%B0&selGoTrain=05&selGoRoom=&selGoRoom1=&txtGoTrnNo=&useSeatFlg=&useServiceFlg=&selGoSeat=&selGoService=&txtPnrNo=&hidRsvChgNo=&hidStlFlg=&radJobId=1&SeandYo=&hidRsvTpCd=03&selGoSeat1=015&selGoSeat2=&txtPsgCnt1=1&txtPsgCnt2=0&txtMenuId=11&txtPsgFlg_1=1&txtPsgFlg_2=0&txtPsgFlg_3=0&txtPsgFlg_4=0&txtPsgFlg_5=0&txtPsgFlg_8=0&chkCpn=N&txtSeatAttCd_4=015&txtSeatAttCd_3=000&txtSeatAttCd_2=000&txtGoStartCode2=&txtGoEndCode2=&hidDiscount=&hidEasyTalk=&adjcCheckYn=N'


driver=webdriver.Chrome(service=service)
driver.get(url)
wait=WebDriverWait(driver,10) # 웹 페이지가 로드될 때까지, 최대 10초간 기다린다는 뜻


# Selenium으로 javascript 실행된 후의 페이지 소스를 가져옴
html=driver.page_source
driver.quit()

# BeautifulSoup 으로 파싱
soup = BeautifulSoup(html,'html.parser')

table_contents=soup.find('tbody')
table_contents

결과물이 굉장히 복잡하게 되어 있습니다.

해당 내용들을 처리해서 보기 쉽게 만들어 보겠습니다.

 

 

# 데이터를 저장할 빈 리스트 생성
data_rows=[]

# table_contents의 각 tr 택(행)에 대해서 반복하면서, td 데이터를 컬럼에 담기
for tr in table_contents.find_all('tr'):
    # 각 열에 해당하는 데이터 추출
    data=[]
    for td in tr.find_all('td'):
        text=td.get_text(strip=True)
        # 열에 데이터 추가
        data.append(text)
    #데이터를 행으로 추가
    data_rows.append(data)

# 데이터 프레임 생성
# column 이름
columns=[
    '구분','열차번호','출발시각','도착시각','특실/우등실','일반실','유아',
    '자유석/입석','인터넷특가(멤버십혜택)','예약대기','정차역(경유)','차량유형/편성정보','운임요금','소요시간'
]

df=pd.DataFrame(data_rows,columns=columns)
df

이렇게 특실/우등실과 일반실 칸 등이 비어 있는 것을 확인할 수 있습니다.

 

 

 

개발자도구를 열어보시면 그 이유를 알 수 있습니다.

해당 칸이 이미지로 되어있고 alt="예약하기"로 구성되어 있습니다.

 

 

 

# 데이터를 저장할 빈 리스트 생성
data_rows=[]

# table_contents의 각 tr 택(행)에 대해서 반복하면서, td 데이터를 컬럼에 담기
for tr in table_contents.find_all('tr'):
    # 각 열에 해당하는 데이터 추출
    data=[]
    for td in tr.find_all('td'):
        # td안에 img 태그가 있는지 확인, alt 속성 추출
        img_tag=td.find('img')
        #img_tage가 존재하면
        if img_tag:
            text=img_tag.get('alt','')
        else:    
            text=td.get_text(strip=True)
        # 열에 데이터 추가
        data.append(text)
    #데이터를 행으로 추가
    data_rows.append(data)

# 데이터 프레임 생성
# column 이름
columns=[
    '구분','열차번호','출발시각','도착시각','특실/우등실','일반실','유아',
    '자유석/입석','인터넷특가(멤버십혜택)','예약대기','정차역(경유)','차량유형/편성정보','운임요금','소요시간'
]

df=pd.DataFrame(data_rows,columns=columns)
df

이번엔 해당 정보들이 모두 제대로 들어갔습니다.

 

 

 

 

여러 페이지 기차 예매 크롤링

개발자도구를 여신 다음에 다음을 누른 다음에 해당줄을 우클릭 해주세요

그럼 Copy > Copy Xpath를 클릭해주세요

Xpath의 다음 버튼을 클릭하여, 접속된 페이지의 url을 가져오는 것 까지 수행하겠습니다.

 

# 페이지네이션 : 오류가 발생한 버젼
# URL까지 포함된 데이터 프레임 생성
# Xpath, '다음' 버튼 클릭, 접속된 페이지의 url을 가져오는 것 까지 수행
from selenium.webdriver.common.by import By
import time


# selenium 웹 드라이버 서비스 설정
service=Service(executable_path=ChromeDriverManager().install())
driver=webdriver.Chrome(service=service)
url='https://www.letskorail.com/ebizprd/EbizPrdTicketPr21111_i1.do?&txtGoAbrdDt=20241020&txtGoHour=065700&selGoYear=2024&selGoMonth=10&selGoDay=20&selGoHour=00&txtGoPage=2&txtGoStartCode=0001&txtGoStart=%EC%84%9C%EC%9A%B8&txtGoEndCode=0020&txtGoEnd=%EB%B6%80%EC%82%B0&selGoTrain=05&selGoRoom=&selGoRoom1=&txtGoTrnNo=&useSeatFlg=&useServiceFlg=&selGoSeat=&selGoService=&txtPnrNo=&hidRsvChgNo=&hidStlFlg=&radJobId=1&SeandYo=&hidRsvTpCd=03&selGoSeat1=015&selGoSeat2=&txtPsgCnt1=1&txtPsgCnt2=0&txtMenuId=11&txtPsgFlg_1=1&txtPsgFlg_2=0&txtPsgFlg_3=0&txtPsgFlg_4=0&txtPsgFlg_5=0&txtPsgFlg_8=0&chkCpn=N&txtSeatAttCd_4=015&txtSeatAttCd_3=000&txtSeatAttCd_2=000&txtGoStartCode2=&txtGoEndCode2=&hidDiscount=&hidEasyTalk=&adjcCheckYn=N'


# 데이터를 저장할 빈 리스트 생성
data_rows=[]

# 5번 반복
for _ in range(5):
#Selenium 웹 드라이버 실행
    driver.get(url) # 갱신된 url 반복적으로 전달
    time.sleep(2) # 2초 대기

    # Selenium으로 javascript 실행된 후의 페이지 소스를 가져옴
    html=driver.page_source


    # BeautifulSoup 으로 파싱
    soup = BeautifulSoup(html,'html.parser')

    #table_contents로 필요한 부분만 정의
    table_contents=soup.find('tbody')


    # table_contents의 각 tr 택(행)에 대해서 반복하면서, td 데이터를 컬럼에 담기
    for tr in table_contents.find_all('tr'):
        # 각 열에 해당하는 데이터 추출
        data=[]
        for td in tr.find_all('td'):
            # td안에 img 태그가 있는지 확인, alt 속성 추출
            img_tag=td.find('img')
            #img_tage가 존재하면
            if img_tag:
                text=img_tag.get('alt','')
            else:    
                text=td.get_text(strip=True)
            # 열에 데이터 추가
            data.append(text)
        #data, 즉 방금까지 td 태그들이 쌓인 data 리스트에 url도 하나 더 추가
        data.append(url)
        #데이터를 행으로 추가
        data_rows.append(data)

    #'다음' 버튼 찾아서 클릭
    try:
        next_button=driver.find_element(By.XPATH,'//*[@id="divResult"]/table[2]/tbody/tr/td/a[2]') # copy XPATH
    except: # 이전 버튼이 없어서 위치가 2번째가 아니라 1번째 a태그로 변경된
        next_button=driver.find_element(By.XPATH,'//*[@id="divResult"]/table[2]/tbody/tr/td/a[1]') # copy XPATH
    next_button.click()
    time.sleep(2)

    # 다음 버튼 누르고 이동된 페이지의 현재 url을 다시 url 변수에 넣어서 갱신
    url=driver.current_url

driver.quit()

# 데이터 프레임 생성
# column 이름
columns=[
    '구분','열차번호','출발시각','도착시각','특실/우등실','일반실','유아',
    '자유석/입석','인터넷특가(멤버십혜택)','예약대기','정차역(경유)','차량유형/편성정보','운임요금','소요시간','url'
]

df=pd.DataFrame(data_rows,columns=columns)
df

이렇게 정상적으로 크롤링 됩니다. 

하지만 9,10번 인덱스의 내용이 겹치게 됩니다.

그 이유는 웹사이트 자체에서 마지막 예약내용과 그 다음페이지 첫 예약내용이 동일하기 때문입니다.

 

 

df=df.drop_duplicates(subset=['출발시각'],keep='first')
df

해당 코드를 사용하여 출발시각이 겹치는 것중 첫번째껀만 남기고 나머지는 다 제거를 해줍니다.

 

 

fast_reserve_df=df[df['일반실']=='예약하기']
# 인덱스 리셋
fast_reserve_df=fast_reserve_df.reset_index(drop=True)
fast_reserve_df.head()

fast_reserve_df.loc[0,'url']

입석+좌석 으로 되어있는 묶음 상품을 제외하고

입석으로 갈 수 있고 예약이 가능한 가장 빠른 상품을 추출할 수 있습니다.

만약 기차를 자주타고 예약을 해야하는 상황이고 크롤링을 통해 코드를 자동화 해둔다면

해당 예약 페이지로 바로 갈 수 있기에 효율적이게 됩니다!