🚅 크롤링 분석 프로젝트 (3) - RSS 활용 뉴스 크롤링

RSS란?

• RSS(Really SImpel Syndication)란 웹 사이트에서 컨텐츠를 사용자에게 쉽게 배포하기 위한 표준 포맷입니다.
• RSS를 사용하면 사용자는 해당 웹 사이트를 방문하지 않아도 해당 사이트의 업데이트된 내용을 확인할 수 있기 때문에, 크롤링과 유사하지만 훨씬 쉽다고 할 수 있다.
• RSS는 사용자가 관심 있는 웹 사이트의 업데이트를 받아보고자 할 때 사용되는 것이고, 크롤링은 웹 사이트의 데이터를 자동으로 수집하고 분석하기 위해 사용합니다.
•  목적과 방법에서 차이가 있지만, 둘 다 웹 콘텐츠를 가져오는 데 사용되는 방법입니다. 

 

 

 RSS 활용해서 뉴스 데이터 크롤링 하기

import feedparser
import pandas as pd

url='https://news.sbs.co.kr/news/SectionRssFeed.do?sectionId=01&plink=RSSREADER'
feed=feedparser.parse(url)

# 빈 리스트 정의
url_list=[]
title_list=[]
summary_list=[]
date_list=[]

#feed entries 순회하면서 리스트에 값 추가
for entry in feed.entries:
    url_list.append(entry.link)
    title_list.append(entry.title)
    summary_list.append(entry.summary)
    date_list.append(entry.published)

data={'뉴스url':url_list,'제목':title_list,'내용요약':summary_list,'날짜':date_list}
df=pd.DataFrame(data)

이 코드를 통해 실시간으로 가장 빠른 뉴스를 가져올 수 있다.