생성형 AI와 Python을 활용한 웹 스크래핑 - 커머스 데이터 수집

오늘은 생성형 생성형 AI를 활용한 크롤링 방법에 대해 소개해보려고 합니다~!!

 

---

1. 생성형 AI

먼저 생성형 AI는 잘 알고있는 chat gpt부터 여러 종류가 있다.

 

• OpenAI ChatGPT : https://chatgpt.com/
• Claude : https://claude.ai/chats
• 🌟 Perplexity : https://www.perplexity.ai/ 
• Bingchat : https://www.microsoft.com/en-us/edge/features/bing-chat
• gemini : https://gemini.google.com/
• 뤼튼 : https://wrtn.ai/
• Liner : https://getliner.com/ko
• AskUp : https://pf.kakao.com/_BhxkWxj

여기서 웹스크래핑을 할 때 최적화 되어있는건 perplexity라고 연사님이 강.조.하셨다.

 

 

2. chat GPT로 웹스크래핑 프로세스 도식화 해보기

 

다음과 같은 프롬프트를 작성하여 chatGPT에 명령을 내리면 mermaid 코드를 알려준다. (시각화 툴)

웹 스크래핑 과정을 10가지 단계로 나열하고 안되는 과정에 대한 피드백을 추가해서 작성할 것.
위 과정을 mermaid 코드로 작성해줘

 

chatGPT가 알려준 코드를 좌측에 입력하면 웹 스크래핑 과정을 도식화 해준다.

발표자료 만들때나, 이런 프로세스 그림을 만들때 편하게 만들 수 있음!

 

3. 이커머스 데이터 크롤링 해오기

패키지 다운 이슈로 colab 환경에서 코드 작성.

크롤링 사이트는 좋아하는 패션 플랫폼인 29cm 여성의류 카테고리 화면이다.

베스트 - 감도 깊은 취향 셀렉트샵 29CM

 

3-1) 사이트에 접속하여 option+command+i를 입력하면 개발자 도구로 접속된다.

상단의 network탭에 들어가서 모든 값을 지우고 새로고침 

network -> 지우기 -> 새로고침

 

3-2) 크롤링 하고자하는 데이터가 들어있는 name을 찾는다.

(이 과정이 제일 중요하고 preview를 보면서 보면 좀 더 찾기 쉽다)

 

 

3-3) headers, payload, response 한가지 복사해둘 것

 

3-4) 프롬프트 작성

다음 정보를 참고해서 데이터를 수집하는 파이썬 코드를 작성하고 데이터는 sqlitedb에 "29cm"이름으로 저장하고 판다스로 읽어와서 확인하는 코드까지 작성할 것.

 

이라는 프롬프트와 함께 3)에서 복사해둔 값을 넣어주어 프롬프트를 작성해준다

 

[프롬프트]

다음 정보를 참고해서 데이터를 수집하는 파이썬 코드를 작성하고 데이터는 sqlitedb에 "29cm"이름으로 저장하고 판다스로 읽어와서 확인하는 코드까지 작성할 것.

 

Request URL: https://recommend-api.29cm.co.kr/api/v4/best/items?categoryList=268100100&periodSort=NOW&limit=100&offset=0 Request Method: GET Status Code: 200 OK Remote Address: 15.164.247.68:443 Referrer Policy: strict-origin-when-cross-origin

 

categoryList: 268100100 periodSort: NOW limit: 100 offset: 0

 

{ "result": "SUCCESS", "data": { "content": [ { "itemNo": 2163860, "itemName": "[29CM 단독] CLASSIC TWEED JACKET MELANGE GREY_UDJA4C203G2", "itemDescription": null, "imageUrl": "/item/202408/11ef5a216b184cfb8362158ed367c2eb.jpg", "frontBrandNo": 13310, "frontBrandNameKor": "던스트", "frontBrandNameEng": "DUNST", "consumerPrice": 289000, "lastSalePrice": 228888, "lastSalePercent": 21, "heartCount": 11372, "heartOn": false, "reviewCount": 228, "reviewAveragePoint": 5.0, "isCoupon": true, "isFreeShipping": false, "isNew": false, "isSoldOut": false, "subjectDescriptions": [ "[베스트오더 -9/1]" ], "saleInfoV2": { "consumerPrice": 289000, "sellPrice": 260100, "saleRate": 10, "couponSaleRate": 12, "isCoupon": true, "totalSellPrice": 228888, "totalSaleRate": 21 }, "frontCategoryInfo": [ { "category1Code": 268100100, "category1Name": "여성의류", "category2Code": 268102100, "category2Name": "아우터", "category3Code": 268102104, "category3Name": "재킷" }, { "category1Code": 268100100, "category1Name": "여성의류", "category2Code": 268116100, "category2Name": "EXCLUSIVE", "category3Code": 268116103, "category3Name": "아우터" } ] },

[작성해준 python 코드]

import requests
import pandas as pd
import sqlite3
import json

def fetch_data():
    url = "https://recommend-api.29cm.co.kr/api/v4/best/items"
    params = {
        "categoryList": "268100100",
        "periodSort": "NOW",
        "limit": 100,
        "offset": 0
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    
    response = requests.get(url, params=params, headers=headers)
    data = response.json()
    
    return data['data']['content']

# 데이터 수집
items = fetch_data()

# DataFrame 생성
df = pd.DataFrame(items)

# 필요한 컬럼만 선택
columns_to_keep = [
    'itemNo', 'itemName', 'frontBrandNameKor', 'frontBrandNameEng', 'consumerPrice', 
    'lastSalePrice', 'lastSalePercent', 'heartCount', 'reviewCount', 'reviewAveragePoint',
    'isCoupon', 'isFreeShipping', 'isNew', 'isSoldOut'
]
df = df[columns_to_keep]

# SQLite 데이터베이스에 저장
db_filename = '29cm.db'
conn = sqlite3.connect(db_filename)
df.to_sql('best_items', conn, if_exists='replace', index=False)
conn.close()

# 데이터베이스에서 데이터 읽어오기
conn = sqlite3.connect(db_filename)
df_from_db = pd.read_sql_query("SELECT * FROM best_items", conn)
conn.close()

# 결과 확인
print(df_from_db.head())
print(f"\n총 {len(df_from_db)} 개의 상품 데이터가 수집되었습니다.")

 

colab 성공 시!

 

다음 코드를 실행시키면 데이터가 잘 수집된 것을 확인할 수 있고, 요 데이터를 .db 확장자로 저장까지 했다면? 

해당 사이트에서 db를 설치하지 않아도 웹으로 데이터를 확인해볼 수 있다.

SQLite Viewer Web App

---

시행착오는 많았지만 한번 성공해보고 나니, 정말 편안한 도구라는 것을 실감하게 된다.

3년전에 공모전을 위해 크롤링을 할 때만 하더라도, 머리를 싸매고 코드 오류를 해결하였는데 ..! 이젠 코드를 직접 짜지 않아도! 이렇게 생성형 AI로 쉽게 크롤링을 할 수 있다니,, 씁쓸하면서도 빠르게 변하는 세상에 빠르게 적응해야겠다는 생각이 든다!

 

 

*파이썬 커뮤니티 PyLadies에서 주관한 세미나에서 교육받은 내용입니다

✨ 생성형 AI와 Python을 활용한 웹 스크래핑: 실습하고 경험 나누기 ✨, 2024년 8월 24일 (토) 오후 1:0