[전처리] 네이버 영화 평점 크롤링 데이터 - Preprocessing

2022.03.23 - [데이터 분석/01. Data Collection] - [크롤링] BeautifulSoup을 활용한 네이버 영화 평점 크롤링

[크롤링] BeautifulSoup을 활용한 네이버 영화 평점 크롤링

이번 포스팅은 크롤링 해온 네이버 영화 평점 데이터를 preprocessing 해보려고 합니다!

 

 

Data Preprocessing

 

1. 데이터 불러오기

naver_movie_points_2022.csv

0.04MB

import numpy as np
import pandas as pd

#index_col=0 : 인덱스를 불러오지 않음
movie=pd.read_csv("naver_movie_points_2022.csv", index_col=0)
movie.tail()

 

 

 

2. 평점 합산 해보기

- 영화 이름을 인덱스, 점수 합산 후 내림차순 10개를 출력

movie_unique=pd.pivot_table(movie, index=['name'], aggfunc=np.sum)
movie_unique.sort_values('point', ascending=False).head(10)

 

 

 

3. DataFrame Query로 검색

 

-영화 제목이 씽2게더인 데이터를 검색해보았습니당

movie.query('name==["씽2게더"]')

 

 

 

4. 날짜별 영화 평점 변화 그리기

 

-싱2게더의 평점 변화 확인

import matplotlib.pyplot as plt

plt.figure(figsize=(24,8))
plt.plot(movie.query('name==["씽2게더"]')['date'],
        movie.query('name==["씽2게더"]')['point'])
plt.legend(labels=['point'])

#x축의 길이가 너무 길어서 rotation을 45로 해줌
plt.xticks(rotation=45)
plt.grid()
plt.show()

 

 

 

5. 영화 정리

 

- 크롤링한 영화를 컬럼으로 하게 pivot함

movie_pivot=movie.pivot_table(movie, index='date', columns=['name'])
movie_pivot.columns=movie_pivot.columns.droplevel([0])
movie_pivot.tail()

 

 

 

6. 보고싶은 영화 평점 시각화

movie_pivot.columns

targer_col=['마미', '씽2게더', '듄']

plt.figure(figsize=(12,8))
plt.plot(movie_pivot[targer_col])
plt.legend(targer_col, loc='best')
plt.tick_params(bottom=False, labelbottom=False)
plt.show()

- 보고싶은 영화의 평점만 골라서 비교해볼 수 있음..!

- 중간에 선이 끊긴 것은 평점 데이터가 없는것