[크롤링] 웹페이지에서 기사 스크랩 - BeautifulSoup패키지(1)

2022.02.10 - [데이터 분석/Data Collection] - [크롤링] 웹페이지에서 기사 스크랩(1)

[크롤링] 웹페이지에서 기사 스크랩(1)

이번 포스팅에서는 BeautifulSoup 패키지를 사용해서 크롤링 하는 방법에 대해 공부해보려고 합니다!

 

 

실습

 

1. 패키지 임포트

import urllib.request as ure
from bs4 import BeautifulSoup as bs

 

 

2. 링크 저장 및 웹사이트 구조 검토

 

#크롬 뷰소스(F12)로 HTML구조를 살펴봄!
#웹사이트는 유사하지만 구조가 다르므로 구조를 검토해야함!

news='https://www.forbes.com/'
soup=bs(ure.urlopen(news).read(), 'html.parser')
soup.find_all('a', {"class":"happening__title"})

 

*F12를 누르면 다음과 같은 화면이 나타나는데 main class의 하위코드를 보면서

a태그를 찾아야한다.

하위코드를 보다보면 <a class="happening__title"~~이 나타난다. 이것을 찾아서 코드에 넣어줘야한다..!

 

 

3. 텍스트 데이터 저장

for i in soup.find_all('a', {"class":"happening__title"}):
    print(i.text)

 

 

4. 링크 리스트 저장

for i in soup.find_all('a',{"class":"happening__title"}):
    print(i.get('href'))