🚅 크롤링 분석 프로젝트 (6) - 관광상품 리뷰 크롤링

관광상품 리뷰 크롤링 분석

# only selenium
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

import time
import pandas as pd

# selenium 웹 드라이버 서비스 설정, 실행
service = Service(executable_path=ChromeDriverManager().install())
driver=webdriver.Chrome(service=service)

url='https://www.hanatour.com/trp/pkg/CHPC0PKG0200M200?pkgCd=AVP231241101ZEA&prePage=major-products&directSale=PM0000114930'
driver.get(url)

# 여행후기를 클릭 click
# review_link=driver.find_element(By.XPATH,'//*[@id="sticky06-bottom"]')

# 좀 더 안전하게 기다린 후 크롤링
review_link=WebDriverWait(driver,10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="sticky06-bottom"]')))

review_link.click()
time.sleep(2)

# 각 리뷰 정보를 저장할 빈 리스트
reviews=[]

driver.quit()

웹페이지가 로드 되기전에 여행후기 버든을 클릭할 수 있기에

'여행후기' 버튼이 뜰때까지 안전하게 기다린 후 버튼을 눌러 크롤링 하겠습니다.

 

 

F12를 누른다음 리뷰 맨 위에 있는것을 누르면 다음과 같이 나옵니다.

li 라는 태그가 붙은 것들이 여러개 있죠? 이걸 다 가져올 겁니다.

 

 

 이번엔 copy selector를 눌러주세요

 

# li 태그들을가져오는 부분
lis=driver.find_elements(By.CSS_SELECTOR,'ul.list_review_v2>li') # ul class="list_review_v2" 아래에 있는 태그들을 모두 가져오기

ul class="list_review_v2" 아래에 있는 태그들을 모두 가져왔습니다.

 

 

이제 이 정보들을 가져올 겁니다.

F12를 누르면서 어떻게 구성되어있는지 직접 확인해야 합니다.

별점 정보를 가져오려면 strong 태그 부분을 가져와야 합니다.

 

 

좌측에 커서를 대고 하나씩 옮기게 되면 strong 태그의 위치가 바뀌게 됩니다.

다음 태그의 이름은 A이긴 하지만, 현재 제가 위치한 태그에서 하나 더 큰 텍스트를 찾아서 입력해야 합니다. 

3page의 XPath를 카피해옵니다.

 

 

 

# selenium 웹 드라이버 서비스 설정, 실행
service = Service(executable_path=ChromeDriverManager().install())
driver=webdriver.Chrome(service=service)

url='https://www.hanatour.com/trp/pkg/CHPC0PKG0200M200?pkgCd=AVP231241101ZEA&prePage=major-products&directSale=PM0000114930'
driver.get(url)

# 여행후기를 클릭 click
# review_link=driver.find_element(By.XPATH,'//*[@id="sticky06-bottom"]')

# 좀 더 안전하게 기다린 후 크롤링
review_link=WebDriverWait(driver,10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="sticky06-bottom"]')))

review_link.click()
time.sleep(2)

# 각 리뷰 정보를 저장할 빈 리스트
reviews=[]

for page_num in range(1,230) :# 1부터 299까지 반복
    # 페이지네이션 할 요소 찾기
    # paginate_div=WebDriverWait(driver,10).until(EC.presence_of_element_located((By.CLASS_NAME,'pagenate')))
    # paginate_div=driver.find_element(By.CLASS_NAME,'pagenate')
    # 원래는 class_name, 'pagenate'로 찾으려 했으나 엘레멘트를 찾을수 없다고 나와서 xpath로 변경
    paginate_div=driver.find_element(By.XPATH,'//*[@id="sticky06"]/div/div[4]/div[3]/div')
    # 현재 몇 페이지 크롤링 중인지, 출력
    print("현재 페이지:",page_num)

    # li 태그들을가져오는 부분
    lis=driver.find_elements(By.CSS_SELECTOR,'ul.list_review_v2>li') # ul class="list_review_v2" 아래에 있는 태그들을 모두 가져오기
    for li in lis:
        # 하나의 리뷰 정보를 저장할 딕셔너리
        review_info={}

        # rating_info에서 각 정보를 추출
        rating_info=li.find_element(By.CLASS_NAME,'rating_info')

        # 별점: strong 태그 있으면 추출, 없으면 ""ArithmeticErrorr
        rating=rating_info.find_element(By.TAG_NAME, 'strong').text if rating_info.find_element(By.TAG_NAME,'strong') else ""
        review_info['rating']=rating
        
        #span 태그들의 text를 차례차례로 review_info의 각 항목에 저장
        spans=rating_info.find_elements(By.TAG_NAME,'span')
        review_info['user'] = spans[1].text
        review_info['category']=spans[2].text
        review_info['age']=spans[3].text
        review_info['date']=spans[-1].text

        # review_cont con 클래스 에서 리뷰 추출
        review=li.find_element(By.CLASS_NAME,'review_cont')
        review_text=review.text if review else ""
        review_info['review']=review.text

        # review_cate 클래스에서 리뷰 카테고리를 추출
        review_cate=li.find_element(By.CLASS_NAME,'review_cate')
        review_cate_text=review_cate.text if review_cate else ""
        review_info['review_cate']=review_cate_text

        reviews.append(review_info)
    # 다음 페이지로 이동
    try:
        # 페이지가 1~9, 11~19, 21~29
        if page_num % 10 != 0:
            next_link=paginate_div.find_element(By.XPATH,f"//span/a[text()='{page_num+1}']")
            # a 태그 안의 text의 모양이, page_num에 1을 더한 값이 a태그의 text 값으로 들어있으면 그걸 가져오기
            # 다음 태그의 이름은 A이긴 하지만, 현재 내가 위치한 태그에서 하나 더 큰 텍스트를 찾아서 입력해야 하기에
            next_link.click()
        # 페이지가 10, 20, 30  
        else:
            next_link=paginate_div.find_element(By.XPATH,'//*[@id="sticky06"]/div/div[4]/div[3]/div/div/a[3]')
            next_link.click()
        time.sleep(2) # 다음 버튼 누를때까지 잠깐 기다리기
    except:
        print("마지막 페이지에 도달했습니다.")
        break

#종료
driver.quit()

# 데이터 프레임 생성
df=pd.DataFrame(reviews)

 

1~229페이지의 관광상품을 가져올 수 있었습니다.

이제 수집한 자료를 가지고 시각화를 통한 데이터 분석을 하겠습니다.