![]()
고객 데이터를 분석해보는 프로젝트를 진행하면서 생각치도 못하게 어려움을 겪었던 부분이 쿼리 실행속도였습니다. 제가 속도 개선을 위해 시도했던 여러 방법들과 꿀팁들을 적어보려고 합니다! 성공사례를 바로 확인하고 싶으신 분들은 3. BigQuery로 이동하셔서 보시면 빠르게 확인하실 수 있습니다:) 1️⃣ DBeaver DBeaver에서는 로컬 csv 파일을 바로 DB에 업로드하고 MySQL 형식으로 쿼리를 작성하여 데이터를 추출해 볼 수 있습니다. 실제 제가 Kaggle에서 다운로드 받은 csv 파일을 업로드해서 쿼리를 실행해 본 화면인데요! 데이터베이스 생성->Create New Table->데이터 가져오기->csv에서 가져오기 참고로 제가 다뤘던 데이터는 5개월 분량(2.4G)의 파일입니다! 저는 처음..
![]()
프로젝트를 진행하면서 DBeaver로 MySQL 쿼리를 작성하여 데이터를 추출하다가 속도의 문제로 Google Cloud에 데이터를 업로드하여 BigQuery를 사용하여 데이터를 추출하고 있습니다! 동일하게 쿼리를 작성했는데 오류가 발생하는 경우들이 발생하더라구요! BIgquery같은 경우는 Standard SQL을 제공한다고 하는데 제가 나중에 다시 보기위해서 정리를 해봅니다! (1) EXTRCT(필요한값 FROM 시간컬럼명) : DATETIME에서 필요한 값(일자, 요일, 주차, 월, 분기, 연도, 시간 등)을 추출 MySQL에서는 비교적 쉽게 추출이 가능합니다. YEAR(시간컬럼명) 이러한 방식으로 작성하면 원하는 값을 쉽게 추출 가능합니다! YEAR : 연도 추출 MONTH : 월 추출 DAY :..
