쿼리 속도 개선을 위해 시도해 본 방법들

고객 데이터를 분석해보는 프로젝트를 진행하면서 생각치도 못하게 어려움을 겪었던 부분이 쿼리 실행속도였습니다.

제가 속도 개선을 위해 시도했던 여러 방법들과 꿀팁들을 적어보려고 합니다!

 

성공사례를 바로 확인하고 싶으신 분들은 3. BigQuery로 이동하셔서 보시면 빠르게 확인하실 수 있습니다:)

 

---

1️⃣ DBeaver

DBeaver에서는 로컬 csv 파일을 바로 DB에 업로드하고 MySQL 형식으로 쿼리를 작성하여 데이터를 추출해 볼 수 있습니다.

실제 제가 Kaggle에서 다운로드 받은 csv 파일을 업로드해서 쿼리를 실행해 본 화면인데요!

 

데이터베이스 생성->Create New Table->데이터 가져오기->csv에서 가져오기

참고로 제가 다뤘던 데이터는 5개월 분량(2.4G)의 파일입니다! 저는 처음에 csv 파일 업로드 부터 엄청 헤멨지만 이렇게 간단한 방법으로 csv 파일을 업로드할 수 있답니다!

그치만 시간이 매우 오래 걸린다는 점..... 그리고 쿼리 실행시간도 매우 오래걸렸습니다....

간단한 쿼리는 금방 실행되지만 퍼널분석 쿼리를 실행하는데는 무려 한시간이 넘는 시간동안 돌아가더라구요ㅠㅠ

게다가 제 노트북의 로컬 디스크 용량 한계로(?) 1시간 후에 쿼리가 중도에 종료되는 상황까지..😢

 

제가 다뤘던 데이터의 용량이 큰 이유도 있지만! 저는 앞으로도 용량이 큰 데이터를 다룰 일이 많을 것이기 때문에 이 문제를 해결하고 싶었습니다.

관련해서 데이터 분석가 분들에게 질문을 드렸더니 쿼리 성능 최적화 관련해서 찾아보시면 좋을 것 같다는 말씀을 주셨습니다.

쿼리 성능 최적화 소개  |  BigQuery  |  Google Cloud

구글 빅쿼리(BigQuery) 쿼리 속도 높이기

작업할 때 어쩔 수 없이 오래 걸리는 쿼리인데 반복적으로 사용해야 할 경우 CREATE TABLE 문법을 이용하여 테이블로 만들어 두기도 한다고 하는데 이러한 방법은 최대한 지양하는 것이 좋을 것 같다고 생각을 해서 추후에 쿼리 최적화에 관련된 공부를 해보려고 합니다.

 

한가지 방법으로 용량이 너무 크다면 일부 기간만 분석으로 확인해본다고 하는 조언도 얻게되었습니다!

 

2️⃣ Mode Analytics

Modern Business Intelligence | Better data, better decisions

모드라는 플랫폼에서 프로젝트를 진행해보면서 로컬 DB와 연결해서 Query를 작성해볼 수 있다는 방법을 알게되어 로컬에서 사용하는 DBeaver보다는 웹으로 작성하는 것이 속도가 더 빠르지 않을까라는 생각으로 연결을 시도해보았습니다.

 

결론을 말씀드리면 방화벽 연결 확인 문제 등등.. 제가 시도하기에는 어려운 방법들이라 패스하였습니다.

 

3️⃣ BigQuery

제가 최종적으로 성공한 방법은 BigQuery입니다!

BigQuery 엔터프라이즈 데이터 웨어하우스  |  Google Cloud

BigQuery는 유료이지만 신규 가입시, 90일 무료 체험 기회가 있어서 사용해보게 되었습니다!

 

빅쿼리에 데이터를 업로드할 수 있는 방법은 이렇게 여러가지 방법이 있는데요!

 

저는 로컬 csv 파일을 업로드하는 방법만 있는줄 알고 100MB 이하로 파일을 줄이려고 .parquet으로 데이터를 압축하려고 주피터 노트북(python)으로 다음과 같은 코드도 짜보았습니다..ㅎ

#설치
pip install pyarrow

import pandas as pd
import pyarrow.parquet as pq

#변환할 csv파일 업로드
df=pd.read_csv("sales.csv")

#.parquet으로 변환
df.to_parquet('sales.parquet', engine='pyarrow', compression="gzip", index=False)

데이터 용량이 워낙 크다보니 압축을 해도 100MB 이하로 줄어들지 않는 이슈가 생겨 방법에 대해 고민하던 도중!

 

구글 클라우드를 발견하게 되었습니다!!!!!!!!

클라우드 컴퓨팅 서비스  |  Google Cloud

구글 클라우드 역시 유료이지만 90일동안 무료로 제공하고 있다고 합니다.

바로 가입하여 로컬csv 파일을 구글 클라우드에 업로드하고 테이블 생성시, "Google Cloud Storage를 선택->찾아보기->파일선택"하여 업로드하니 정말 빠르게 업로드 되는 모습을 확인할 수 있었습니다!!!!

아래쪽에 스키마 자동 감지를 선택하니 날짜, 시간 컬럼도 잘 데이터타입을 인식하더라구요ㅠㅠㅠㅠㅠㅠㅠ 정말 감격적인 순간이였습니다.

 

DBeaver-MySQL의 속도로 인해 고통받고 있으신 분들이라면 BigQuey 강력 추천합니다!

 

단, BigQuery 문법은 MySQL과 약간 달라서 제가 작성해놓은 글을 참고하시면 좀 더 도움이 될 것 같습니다.

2023.04.14 - [🐾MySQL] - 헷갈리는 BigQuery 함수 정리

헷갈리는 BigQuery 함수 정리