[크롤링] [크롤링] 웹페이지에서 기사 스크랩 - BeautifulSoup패키지(2)

2022.03.04 - [데이터 분석/Data Collection] - [크롤링] 웹페이지에서 기사 스크랩(2)

[크롤링] 웹페이지에서 기사 스크랩(2)

저번 포스팅에서는 해당 웹사이트의 기사 제목과 링크만 가져와봤는데요..!

Title, Text, URL을 가져와서 하나의 데이터 프레임으로 만드는 작업을 해보려고 합니다!

---

실습

 

1. 첫번째 링크에서 기사 하나 가져와보기

article1='https://www.forbes.com/sites/roberthart/2022/03/07/humanitarian-corridors-what-you-need-to-know-as-refugees-seek-safe-passage-to-leave-ukraine/'
soup2=bs(ure.urlopen(article1).read(), 'html.parser')

for i in soup2.find_all('p'):
    print(i.text)

 

 

2. 메인화면에서 보이는 기사들의 각각 url, title, text를 모두 가져와보겠습니다!

happening=soup.find_all('a', {"class":"happening__title"})

rows=[]
for i in range(len(happening)):
    happeningtitle=happening[i].text
    happeningurl=happening[i].get('href')
    soup2=bs(ure.urlopen(happeningurl).read(), 'html.parser')
    txt= ""
    for j in soup2.find_all('p'):
        txt=txt+j.text
    rows.append({'Title': happeningtitle, 'URL':happeningurl, 'Text':txt})

 

 

3. rows 데이터를 담을 데이터 프레임 생성

import pandas as pd
df=pd.DataFrame(rows, columns=['Title', 'URL', 'Text'])
df