🚅 크롤링 분석 프로젝트 (2) - Selenium 활용 뉴스 크롤링

여러 페이지 크롤링 하기

왼쪽 뉴스페이지 박스 부분은 오른쪽 사진과 같이 구성되어 있습니다.

저는 여기서 a 태그를 가진,  각 박스에 해당 되는 내용들을 가져오려 합니다.

 

 

url='https://news.kbs.co.kr/news/pc/category/category.do?ref=pSiteMap#20241017&1'
html_doc=requests.get(url).text
html_doc

soup=BeautifulSoup(html_doc,'html.parser')
soup

# 박스에서 태그이름이 a인걸 모두 찾아서 박스 컨텐츠 라는 변수에 담음
box_contents=soup.find_all('a',class_='box-content flex-style')
box_contents

이전 게시글에서 사용했던 방법대로 BeautifulSoup 기능을 활용해 코드를 작성했습니다.

 

 

하지만 페이지가 담겨있지 않습니다.

해당 내용은 BeautifulSoup 기능으로 가져올 수 없습니다.

이 경우 Selenium을 사용해야 합니다. 

 

 

 

Selenium이란?

데이터가 담겨져 있지 않은 원인

1. 크롤링 하려는 태그들이 잘 성정되어 있는지 확인한다

2. 페이지 소스에 javascript가 사용 되었는지 확인 - 많은 웹페이지들이 javascript 동적 데이터를 로드

페이지에 먼저 접근 한 이후에 동적으로 javascript를 활용해 컨텐츠들이 생성된다면  가져올 수가없다

 

이 경우, 해결책 = Selenium

Selenium 웹 페이지를 자동으로 제어, 테스트 할 수 있는 도구

직접적으로 웹 브라우저를 제어한다

Request, BeautifulSoup으로 크롤링이 불가능 할 때, 원하는 결과를 가져오지 못할 경우 Selenium 사용

 

정적 페이지 = Requests + Beautiful Soup

• 서버로부터 한 번 요청하면 변하지 않는 형태의 html로 작성된 페이지
• 웹 서버는 클라이언트 요청이 들어올때 마다 미리 만들어놓은 html 파일을 그대로 반환한다
• 서버 측에서 미리 준비가 되어 있기 때문에, 클라이언트 측에서 별다른 처리 없이 바로 브라우저에 표시

 

동적 페이지 =  Selenium

• 웹 서버로부터 html을 받아온 다음, 브라우저가 해석하고 실행하면서 javascript 같은 스크립트 언어를 사용하여 동적으로 웹페이지를 만든다
• 이렇게 형성된 html 데이터를 불러오고, 입력, 클릭,스크롤 할 때 화면이 변경되는 등의 상호 작용이 필요한 웹페이지에서 사용

 

 

 

Selenium을 활용하여 뉴스 크롤링

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait

# selenium으로 웹드라이버 실행

service=Service(executable_path=ChromeDriverManager().install())
# 크롬 웹 드라이버가 어디에 위치해 있다는 알려주는 경로 자리에 크롬드라이버 매니저 설치한 값을 넣기
driver = webdriver.Chrome(service=service)

#url 전달
url='https://news.kbs.co.kr/news/pc/category/category.do?ref=pSiteMap#20241017&1'
driver.get(url)

# 기다려달라는 값을 전달 : 최대 10초 기다리기
wait=WebDriverWait(driver,10)

# 드라이버 접근 > 페이지 소스 가져오기
html=driver.page_source

#드라이버 종료
driver.quit()

드라이버를 종료하지 않으면 계속 실행되니 꼭 종료 코드를 써야 합니다.

 

soup=BeautifulSoup(html,'html.parser')

box_contents=soup.find_all('a',class_='box-content flex-style')
box_contents

이번에는 원하는 내용이 제대로 담겼습니다.

 

 

 

 

원하는 정보만 가져오기

https://news.kbs.co.kr/news/pc/view/view.do?ncd=8083891

BBC “러 극동 군사기지에 북한인 도착…인원은 확인 못해”

해당 기사는https://news.kbs.co.kr + /news/pc/view/view.do?ncd=808391로 구성되어 있습니다.

 

url="http://news.kbs.co.kr" + box_contents[0]['href']
url

 

박스 컨텐츠에서 가장 첫번째 기사를 가져온 다음 href을 택하면 url을 구성할 수 있습니다. 

 

# 타이틀 출력
title=box_contents[0].find('p',class_='title').text
title

# 본문 출력
body=box_contents[0].find('p',class_='news-text').text
body

# 날짜 출력
date=box_contents[0].find('span',class_='date').text
date

이런식으로 원하는 기사만 선택해서 제목,본문,날짜를 출력할 수 있습니다.

 

 

 

 

for문을 사용해 데이터 추출

# 원하는 부분들만 찾아서, 리스트에 담고, 데이터 프레임으로 만들기
# 빈 리스트 만들기
url_list=[]
title_list=[]
body_list=[]
date_list=[]

for box_content in box_contents:
    url = "http://news.kbs.co.kr" + box_content['href']
    title = box_content.find('p',class_='title').text
    body = box_content.find('p',class_='news-text').text
    date = box_content.find('span',class_='date').text
    
    url_list.append(url)
    title_list.append(title)
    body_list.append(body)
    date_list.append(date)

box_contents에는 12개의 내용이 담긴 리스트입니다.

그 리스트를 돌면서 내용들을 가져옵니다.

 

# 데이터 저장
data={'뉴스url':url_list,'제목':title_list,'내용':body_list,'날짜':date_list}
df=pd.DataFrame(data)
df

제대로 데이터를 불러왔습니다.

 

 

 

페이지네이션을 활용해 여러 페이지 크롤링

1페이지만이 아니라 1~13페이지를 돌면서 크롤링을 해보겠습니다.

# 빈 리스트 만들기
url_list=[]
title_list=[]
body_list=[]
date_list=[]

#서비스 변수 설정
service=Service(executable_path=ChromeDriverManager().install())

#1. 페이지를 돌면서 작업을 수행
for page_num in range(1,14):

    #Selenium으로 웹 드라이버를 실행
    driver = webdriver.Chrome(service=service)

    #url 전달
    url=f'https://news.kbs.co.kr/news/pc/category/category.do?ref=pSiteMap#20241017&{page_num}'
    driver.get(url)

    # 기다려달라는 값을 전달 : 최대 10초 기다리기
    wait=WebDriverWait(driver,10)

    # 드라이버 접근 > 페이지 소스 가져오기
    html=driver.page_source

    #드라이버 종료
    driver.quit()
    
    #2. BeautifulSoup 사용해서 파싱하고, 태그를 찾아서 담아줌
    soup=BeautifulSoup(html,'html.parser')
    box_contents=soup.find_all('a',class_='box-content flex-style')

    #3. 박스 데이터들을 하나씩 돌면서 리스트에 데이터를 담음

    for box_content in box_contents:
        url = "http://news.kbs.co.kr" + box_content['href']
        title = box_content.find('p',class_='title').text
        body = box_content.find('p',class_='news-text').text
        date = box_content.find('span',class_='date').text
        
        url_list.append(url)
        title_list.append(title)
        body_list.append(body)
        date_list.append(date)



#4. 데이터 프레임으로 데이터 저장
data={'뉴스url':url_list,'제목':title_list,'내용':body_list,'날짜':date_list}
df=pd.DataFrame(data)
df

1~13 페이지의 뉴스들이 모두 크롤링 되었습니다.