[크롤링] Web에서 Tabular data 수집

웹에서 테이블 데이터를 직접 Python으로 스크랩하고 싶은 경우에 사용할 수 있는 방법입니다!

 

실습

 

위키피디아의 "대통령 선거 결과" 표를 예로 들어보겠습니다.

https://en.wikipedia.org/wiki/Politics_of_Pennsylvania 

Politics of Pennsylvania - Wikipedia

 

페이지에 접속했을 때 가져오고자하는 표는 "Presidential election results"입니다!

 

 

1. 웹데이터 가져오기

import pandas as pd
import numpy as np
table_PA = pd.read_html('http://en.wikipedia.org/wiki/Politics_of_Pennsylvania')

 

 

2. Presidential elecction results만 추출

len(table_PA) #페이지에 5개의 테이블이 있음(table_PA)->우리는 이 중에 대선결과를 가져오고 싶음
table_PA = pd.read_html('http://en.wikipedia.org/wiki/Politics_of_Pennsylvania', match='Presidential election results') #대선결과와 일치하는 테이블만 긁어옴
len(table_PA) #반환된 값은 1로 하나의 테이블만 일치한다는 의미!
df=table_PA[0]

* table_PA의 형태는 다음과 같으므로 table_PA[0]을 df에 저장해준다!

-> df.head를 통해 5개의 행만 확인해보면 잘 수집된 것을 확인할 수 있다!

 

 

3. 전처리 (숫자로 변환)

분석을 위해서는 값을 numeric형태로 바꿔줘야하는데 값에 %가 있어 .apply(pd.to_numeric)함수를 적용하기 힘들다..!

따라서 "%"제거를 먼저 선행한 후에 함수를 적용해주어야 함!

df.head()
df.info() #확인해보면 숫자가 아니라 문자로 되어있기 때문에 바꿔줌

#"%"문자 제거
df['Democratic']=df['Democratic'].str[:4] #Democratic의 앞에 4글자만 추출해라, %길이가 다 똑같기 때문에 가능한일임
df['Republican']=df['Republican'].str[:4]

df[['Democratic', 'Republican']]=df[['Democratic','Republican']].apply(pd.to_numeric) 
df.info()

 

 

4. 데이터가 잘 바뀐것을 확인할 수 있다!

->