🚅 크롤링 분석 프로젝트 (완)

 

🚅 크롤링 분석 프로젝트

✅  주제 : 관광상품 리뷰  웹페이지 크롤링을 통해 데이터 수집 및 분석 

✅  배경 : html 구조에 대해 익히고 웹 크롤링을 통한 데이터 수집과 분석

✅  기간 : 2024.05.04~2024.05.11 (약 1주)

✅  과정 : 파이썬으로 웹사이트 크롤링

                 뉴스 크롤링 자동

                 예매 가능한 기차표 찾기

                 관광 상품 리뷰 데이터 크롤링 및 분석

✅  스킬 : 파이썬

 

 

---

📃  1. 분석주제

하나투어 관광상품 리뷰 웹페이지 크롤링을 통해 인사이트 도출

웹 크롤링을 통해 다양한 데이터 수집이 가능하므로, 리서치 역량을 키우기 위해 크롤링을 공부하고 싶었습니다.

하나투어 관광상품 리뷰 웹페이지를 크롤링 하여 데이터를 수집 및 전처리 하고 시각화로 인사이트를 도출

 

 

 

🔍  2. 분석 과정

•  Selenium 기능을 활용해 하나투어 리뷰 크롤링 및 전처리
•  시각화를 통해 인사이트 도출

 

 

📊  3. 분석 진행

데이터 수집

• 파이썬 크롤링 역량을 키우기 위해 뉴스 페이지와 기차 예매 사이트를 크롤링 연습 및 html 구조 파악
• Selenium 기능을 활용해 하나투어 리뷰 페이지 크롤링

데이터 분석

• 데이터 전처리(date type, object type 변경)
• 파이썬의 matplotlib, seaborn 기능을 활용해 시각화

결론 및 인사이트 도출

 

 

 

 

카테고리별 리뷰 시각화

각 카테고리(가족여행,친구모임,커플여행 등) 별로 리뷰 수를 시각화 하고, 어떤 여행 유형이 가장 많은지 알아보기

• 가족여행이 압도적으로 많다.
• '기타' 가 꽤 상위에 속하는 데 가족/아동동반/친구/커플/나홀로를 제외하고 가능한 경우가 무엇인지 고민해보았다

• 단체 여행: 회사 워크숍, 학회, 학교 소풍 등 여러 사람이 함께하는 여행.
• 문화체험 여행: 특정 문화나 전통을 체험하기 위해 떠나는 여행.
• 액티비티 여행: 스키, 하이킹, 서핑 등 특정 활동을 목적으로 하는 여행.
• 종교 여행: 성지순례, 종교적인 이유로 떠나는 여행.
• 힐링 여행: 스파, 요가, 명상 등 치유를 목적으로 하는 여행.
• 자원봉사 여행: 봉사활동이나 사회적 기여를 위한 여행.
• 어드벤처 여행: 탐험이나 도전적인 활동을 포함하는 여행.
• 요리 여행: 특정 지역의 음식이나 요리를 배우기 위해 가는 여행.
• 에코 투어리즘: 자연 보호와 지속 가능한 여행을 목표로 하는 여행.
• 행사 참석 여행: 음악 축제, 전시회, 콘서트 등 특별한 행사에 참석하기 위한 여행.

• 아동동반 여행도 가족여행의 일부라고 고려하면 가족여행이 압도적이다.

 

날짜별 리뷰 분포 시각화

날짜별로 리뷰가어떻게 분포되어 있는지 시각화 해서 특정 날짜에 리뷰가 많거나, 적은 때를 확인 

 

• 2018년 4월 ~ 2020년 1월까지 여행이 압도적으로 많다가 2022년 7월까지 여행이 없다. 코로나 때문에 해외여행이 불가능 했던 것으로 파악된다.
• 2023년 9월을 기점으로 상승폭이 커졌으며 여행 리뷰가 증가하는 추세다
• 1~2월 사이, 9~10월 사이 여행객 수가 항상 증가하는 패턴을 보인다.
• 리뷰수가 많은 달 1~2월, 4~5월, 8~10월

 

나이별 평균 평점 비교

각 연령대별로 평균 평점을 비교해서 어떤 연령대가 평균적으로 좋은 리뷰를 남기는지 확인

 

• 평점이 5.0점 만점에 4.0이상으로 꽤 높은 편이다.
• 70대가 가장 평점이 높고 40대가 가장 낮다.
• rating이 3이하인 것을 조건으로 걸어 확인해본 결과 296개의 데이터가 추출됐다
• 가이드, 숙소에 대한 불만이 원인이고 특히 가이드에 대한 불만이 원인의 95%를 차지한다.
• 40대 608명, 50대 428명, 30대 347명, 20대 253명 순으로 리뷰를 많이 남겼다.

 

 

📌4. 결론

• 해외여행이므로 자본이 어느정도 있는 40대가 가장 많이 이용한다. 해당 연령대를 타켓으로 삼는 여행 상품을 많이 개발해야 한다.
• 40대의 고객이 가장 많이 이용하는데, 평점이 가장 낮으므로 문제를 반드시 개선해야 한다.
• 불만 원인의 95%가  '가이드' 인 것으로 보아 하나투어 여행사는 가이드에 대한 개선이 필요함. 특히 가이드의 물건강매와 쉴틈 없는 일정에 대한 불만이 많다.
• 불만의 원인 5%는 숙소이다. 중장년층은 편안하고 깔끔한 숙소를 중점으로 중요시 여기므로, 여행사는 여행 상품 개발시 비용이 증가하더라도 편안한 숙소를 선정해야 함
• 1~2월 사이, 9~10월 사이에 여행이 증가하는데 이는 연초(연휴)와 날씨의 영향으로 볼 수 있다. 여행사는 베트남 다낭 여행 상품 개발 시 해당 날짜를 고려하여 상품개발 해야 함. 
• 카테고리를 '기타'로 두지 말고 좀 더 세분화 할 필요가 있다. 단체여행/종교여행/자원봉사 여행 등 카테고리를 좀 더 세분화 한다면 이후에 여행 상품을 만들 때 큰 도움이 될 것이라 판단됨.

 

 

✍️ 5. 개선점 및 코멘트

• 파이썬으로 색상을 조정하고 눈에 좀더 보기 쉽게 시각화 하는 연습이 필요함 ex) 점선 추가, 글자 기울이기
• 웹페이지를 페이지네이션 하면서 크롤링 하는 for 구문 작성에 대해 좀 더 학습이 필요함
• HTML 구조에 대해 이전보다 확실히 잘 알게 되었다. HTML에서 원하는 부분을 제대로 파악해야 크롤링 할 때 원하는 태그와 내용들을 가져올 수 있음
• 크롤링한 데이터 리뷰 부분에서 자주 언급되는 불만 원인을 빈도 그래프 혹은 워드 클라우드로 만들면 좋았을 것 같음
• 게임 분석 프로젝트를 진행할 시에 유저들에 대한 불만을 유저 커뮤니티에서 크롤링 할때 도움이 될 것 같음