DATAFOX🦊

🚅 크롤링 분석 프로젝트✅  주제 : 관광상품 리뷰  웹페이지 크롤링을 통해 데이터 수집 및 분석 ✅  배경 : html 구조에 대해 익히고 웹 크롤링을 통한 데이터 수집과 분석✅  기간 : 2024.05.04~2024.05.11 (약 1주)✅  과정 : 파이썬으로 웹사이트 크롤링                 뉴스 크롤링 자동                 예매 가능한 기차표 찾기                 관광 상품 리뷰 데이터 크롤링 및 분석✅  스킬 : 파이썬  📃  1. 분석주제하나투어 관광상품 리뷰 웹페이지 크롤링을 통해 인사이트 도출웹 크롤링을 통해 다양한 데이터 수집이 가능하므로, 리서치 역량을 키우기 위해 크롤링을 공부하고 싶었습니다.하나투어 관광상품 리뷰 웹페이지를 크롤링 하여 데이터..

카테고리 별 리뷰시각화 각 카테고리(가족여행,친구모임,커플여행 등) 별로 리뷰 수를 시각화 하고, 어떤 여행 유형이 가장 많은지 알아보기# 카테고리 별 리뷰 수 계산category_count=df['category'].value_counts()plt.figure(figsize=(15,6))category_count.plot(kind='bar',color='skyblue')plt.title("카테고리별 리뷰 수")plt.xlabel("카테고리")plt.ylabel("리뷰 수")plt.xticks(rotation=20)plt.grid(axis='y',linestyle='--',alpha=0.7)plt.tight_layout()plt.show()    날짜별 리뷰 분포 시각화날짜별로 리뷰가어떻게 분포되어 있는..

관광상품 리뷰 크롤링 분석# only seleniumfrom selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byimport timeimport pandas as pd# selenium 웹 드라이버 서비스 설정, 실행service = ..

코레일 기차표 크롤링robots.txt를 통해 해당 사이트는 크롤링이 가능함을 확인했습니다.하지만 크롤링을 과도하게 하는 것은 서버에 부담을 줄 수 있기에,필요한 데이터만 정의하고 그 부분만 작업하는 것이 좋습니다.  import requestsfrom bs4 import BeautifulSoupimport pandas as pdfrom selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.support.ui import WebDriverWait# selenium 웹 드라이버 서..

RSS란?RSS(Really SImpel Syndication)란 웹 사이트에서 컨텐츠를 사용자에게 쉽게 배포하기 위한 표준 포맷입니다.RSS를 사용하면 사용자는 해당 웹 사이트를 방문하지 않아도 해당 사이트의 업데이트된 내용을 확인할 수 있기 때문에, 크롤링과 유사하지만 훨씬 쉽다고 할 수 있다.RSS는 사용자가 관심 있는 웹 사이트의 업데이트를 받아보고자 할 때 사용되는 것이고, 크롤링은 웹 사이트의 데이터를 자동으로 수집하고 분석하기 위해 사용합니다. 목적과 방법에서 차이가 있지만, 둘 다 웹 콘텐츠를 가져오는 데 사용되는 방법입니다.    RSS 활용해서 뉴스 데이터 크롤링 하기import feedparserimport pandas as pdurl='https://news.sbs.co.kr/new..