[크롤링] BeautifulSoup을 활용한 네이버 영화 평점 크롤링

네이버 영화 평점

 

- https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&tg=0&date=20220323 

랭킹 : 네이버 영화

- 네이버 영화에서 영화 평점을 크롤링 해보려고 합니다.

- 학습용 서버에 부하되지 않을정도만 크롤링.

 

네이버 영화 페이지는 매일 다음과 같이 영화의 순위가 매겨지고 평점이 표시되는 화면이 나타난다.

 

 

 

크롤링

 

1. URL 보기

'https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&tg=0&date=20220323'

- URL 맨 뒤에 20220323은 date형식, 날짜를 조금씩 바꾸면 다르 페이지에 접속 가능

 

 

2. 한페이지 보기

from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd

url="https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&tg=0&date=20220323"
page=urlopen(url)

soup=BeautifulSoup(page, 'html.parser')
soup

-> html형식을 beautifulsoup을 사용하여 가져온당

 

---

~3. 영화 제목과 평점 가져오기~

 

3-(1). 영화제목 가져오기

 

크롬에서 F12버튼을 누른 후 개발자 도구로 확인해본 결과..!

div태그 tit5클래스가 영화 제목을 나타낸다.

soup.find_all('div', 'tit5')[0].a.string

- beautifulSoup의 find_all 명령어로 제목을 모두 찾을 수 있음
- 그중 첫번째([0])인 내용만 가져왔고, string 형식인 제목만 가져옴

 

#리스트 컴프리행션을 사용하여 한 페이지의 영화 제목을 모두 가져옴
movie_name=[i.a.string for i in soup.find_all('div', 'tit5')]
movie_name

 

 

3-(2). 평점 가져오기

 

크롬에서 F12버튼을 누른 후 개발자 도구로 확인해본 결과..!

td태그 point클래스가 영화 평점을 나타낸다.

soup.find_all('td', 'point')[0].string

#한페이지 평점을 가져옴
movie_point=[i.string for i in soup.find_all('td', 'point')]
movie_point

 

 

4. 날짜 만들기

 

- 'https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&tg=0&date=20220323'
- url 뒤의 date를 바꾸면 웹페이지가 바뀜 

=> 여러 날짜의 페이지를 크롤링해오기 위해서 날짜 데이터 생성

 

date=pd.date_range('2022.01.01', periods=60, freq='D')
date

- pandas의 date_range를 사용하여 날짜를 생성
- 시작날짜를 적어주고, 만들고 싶은 날짜 갯수와 날짜 형태를 적으면됨..!

 

print(date[0].strftime('%y-%m-%d'))
print(date[0].strftime('%y.%m.%d'))
print(date[0].strftime('%y%m%d'))
print(date[0].strftime('%Y%m%d')) #->이 형식이 url에 필요함

 

 

5. 여러 날짜에서 영화제목과 평점 가져오기

 

일단 22년 1월 1일~2월 14일까지의 영화 평점을 가져옴

한페이지를 크롤링하고 또 바로 크롤링하면 과부화 및 접속차단이 걸릴 수 있으니 time.sleep을 걸어주었다..!

import time

movie_date=[]
movie_name=[]
movie_point=[]
date=pd.date_range('2022.01.01', periods=45, freq='D')

for today in date:
    html='https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=cur&date={date}'
    response=urlopen(html.format(date=today.strftime('%Y%m%d')))
    soup=BeautifulSoup(response, 'html.parser')
    
    movie_date.extend([today]*len(soup.find_all('td', 'point')))
    movie_name.extend([i.a.string for i in soup.find_all('div', 'tit5')])
    movie_point.extend([i.string for i in soup.find_all('td', 'point')])
    
    print(str(today))
    time.sleep(0.5)

 

~총 924개의 영화 평점을 가져옴~

len(movie_date), len(movie_name), len(movie_point)

 

~데이터 프레임 생성~

movie=pd.DataFrame({'date': movie_date, 'name':movie_name, 'point': movie_point})
movie.tail()

 

 

6. 데이터 타입 변환

movie.info()

#평점 float로 변경
movie['point']=movie['point'].astype(float)
movie.info()

 

 

7. 크롤링된 데이터 csv로 저장

movie.to_csv("naver_movie_points_2022.csv", sep=',', encoding='utf-8')