[빅분기] 2021 제3회 빅데이터분석기사 실기합격 후기 - 공부방법 및 복원문제

저는 제 3회 빅데이터분석기사 시험에 응시했고! 

결과는 합격!!!

빅데이터분석기사 실기 시험에 대한 정보가 많이 없어서 공부 방법을 찾아가는게 가장 어려웠던 것 같아요!

그래서 이번 포스팅에서 제가 한 공부방법 및 팁을 적어보려고 합니다.

 

---

1. 교재

우선 저는 산업경영공학을 전공하고있고 그러다보니 python으로 데이터분석을 자주(?) 해왔어서 공부기간을 그렇게 오래 잡지는 않았고 반복적으로 코드를 많이 작성해본 것 같아요.

 

그래도 코드를 전부 외워서 시험에 응시를 해야하고 어떤 데이터프레임을 어떻게 변환하여 사용해야할지 모르는 것이기 때문에 얼만큼 python을 아느냐보다 처음부터 차근차근 공부를 해나가시는 것이 중요할 것 같습니다!

---

책은 이렇게 데이터캠퍼스와 수제비 책 두권을 구입하였는데

(제가 다시 시험을 본다면 수제비 책 한권만 구입할 것 같습니다..ㅎ)

데이터캠퍼스

수제비

	수제비	데이터캠퍼스
언어	R	Python
단답형	O	X
기출문제	O	X
예상문제	O	X

제가 본 시험이 실상 2회차라서 그런지 책이 많이 없어서 고민을 많이하다가 두권을 다 구입한 것인데 사실..너무..아까웠어요..ㅎ

 

데이터캠퍼스 책은 제가 Python으로 응시를 하고 싶어서 구입한 책인데 기초부터 잘 설명되어있긴 하지만 후반부로 갈수록 설명도 덜하고? 가독성도 굉장히..떨어집니다.. 게다가 기출문제도 없고 단답형 대비도 전혀되어있지 않아서 공부를 하면서 당황했던 것 같아요.

---

그래서 데이터캠퍼스에서 기초적인 것들을 공부하고 수제비책으로 작업형 제1유형과 작업형 제2유형 기출과 예상문제를 반복해서 풀어보면서 문제푸는 방법에 익숙해지려고 했습니다!

 

수제비 짱...최고... 해설이 R로 되어있긴 하지만.. 

그래서 막히면 구글링을 겁나 해야했지만..

그래도 수제비책 덕분에 감을 많이 찾았던 것 같아요!

 

2. 공부방법

작업형 제 2유형 -> 작업형 제 1유형 -> 단답형

이 순서로 공부하였고 단답형은 필기시험 때  다져놓은 기초가 있기 때문에 크게 걱정은 안하셔도 되고

작업형 제2유형과 제 1유형을 집중적으로 공부하세요.!

 

<작업형 제 2유형>

1) pandas 기본 익히기
2) 구름 응시환경에 제 2유형 예상문제 풀어보기
3) 기출문제 작업형 제2유형 풀어보기
4) 랜덤포레스트 알고리즘 익히기

5) 구름 응시환경에서 제 2유형 예상문제 랜덤포레스트로 풀어보기

6) 기출문제 랜덤포레스트로 풀어보기

 

크게 이 순서로 공부를 하였고 좋은 방법이었던 것 같아서 써봅니다...

 

구름EDU - 모두를 위한 맞춤형 IT교육

저는 처음 연습을 구름 응시환경에서 하시는것을 추천드리는게 생각보다 오류도 많고 적응하는데 오래걸려서 이 링크로 접속하시면 나오는 예상문제를 가장 먼저 풀어보시는 것을 추천드려요!

 

이 링크를 타고 들어가면 풀이도 나오는데 한번 쭉 보면서 일단 코드 작성 흐름을 잡으시는 것이 가장 중요해요!

빅데이터분석기사 실기 예제 문제 풀이 (21.06.08)

---

저는 큰 틀을

1. 결측치 확인
2. 더미변수변환
3. 정규화
4. train/valid 나누기
5. 모델생성
6. valid 예측력 확인 후 괜찮으면 train/valid 다시 train으로 합치기(valid 나누었던 것을 주석처리 하면됨)
7. train/test 데이터 가지고 모델 생성
8. 저장

이렇게 놓고 계속 반복적으로 생각하면서 코드를 작성했어요,,,

결국 파일이 바뀌더라도 이 순서는 같기 때문에 반복적으로 같은 문제를 작성하다보면 감이 잡힌답니당!

 

제가 작성한 코드는 다음과 같은데 참고만 하시고 꼭 본인만의 틀을 잡으세요!!!!!

< 사이트 예제-작업형2형 >
import pandas as pd
X_test = pd.read_csv("data/X_test.csv")
X_train = pd.read_csv("data/X_train.csv")
y_train = pd.read_csv("data/y_train.csv")

print(X_test.info())
# 주구매상품, 주구매지점 object임

# 결측치 확인
print(X_test.isnull().sum()) # 환불금액(1611개)
print(X_train.isnull().sum()) # 환불금액(2295개)

# 결측치 채우기
X_train=X_train.fillna(0)
X_test=X_test.fillna(0)

# 더미변수 변환
# 주구매상품, 주구매지점
unique_train=X_train['주구매상품'].unique()
unique_test=X_test['주구매상품'].unique()
print(len(unique_train))
print(len(unique_test))

print(set(X_train['주구매상품'].unique())-set(X_test['주구매상품'].unique()))
# 소형가전을 삭제할 수 있나 확인
print(X_train[X_train['주구매상품']=='소형가전'])
# cust_id=1521, 2035인 것 삭제
X_train_reset=X_train[X_train['주구매상품']!='소형가전'].reset_index(drop=True)  
y_train_reset=y_train[(y_train['cust_id']!= 1521) & (y_train['cust_id']!= 2035)].reset_index(drop=True)

print(X_train_reset.shape)
print(X_train.shape)
# 삭제 완료
# 필요없는 열 삭제할 것임
# 그전에 필요한 cust_id 저장
cust_id=X_test[["cust_id"]]
X_train_ready=X_train_reset.drop('cust_id', axis=1)
X_test_ready=X_test.drop('cust_id', axis=1)
y_train_ready=y_train_reset[['gender']]

# 범주변환
X_train_dum=pd.get_dummies(X_train_ready)
X_test_dum=pd.get_dummies(X_test_ready)

# 정규화
from sklearn.preprocessing import MinMaxScaler
minmax=MinMaxScaler()
minmax.fit(X_train_dum)
minmax_X_train=minmax.transform(X_train_dum)
minmax_X_test=minmax.transform(X_test_dum)

print(pd.DataFrame(minmax_X_train).describe())

# train : minmax_X_train/ minmax_X_test / y_train_ready / cust_id
# train/validation으로 변환

#from sklearn.model_selection import train_test_split
#X_train_, X_valid, y_train_, y_valid=train_test_split(minmax_X_train, y_train_ready, stratify=y_train_ready, test_size=0.2)

# 모델 생성
from sklearn.ensemble import RandomForestClassifier
model=RandomForestClassifier(random_state=42, n_estimators=200, max_depth=10)
#model.fit(X_train_, y_train_.values.ravel())
#prob_train=model.predict_proba(X_train_)[:, 1]
#print(model.score(X_train_, y_train_.values.ravel()))
#print(model.score(X_valid, y_valid))

# X_train, X_valid 합쳐서
model.fit(minmax_X_train, y_train_ready.values.ravel())
prob_train=model.predict_proba(minmax_X_train)[:, 1]
print(model.score(minmax_X_train, y_train_ready.values.ravel()))

# 예측
prob_test=model.predict_proba(minmax_X_test)[:, 1]
prob_test=pd.DataFrame(prob_test)

# 합치기
total=pd.concat([cust_id, prob_test], axis=1)
total.columns=['cust_id', 'gender']
print(total)

total.to_csv('003001027.csv', index=False)

# 잘 저장되었는지 확인
ghkrdls=pd.read_csv("003001027.csv")
print(ghkrdls)

---

<작업형 제 1유형>

작업형 제 1유형은 2유형에 익숙해지고 난 후에 하는 것이 더 빠르게 공부를 해나갈 수 있는 것 같아요!

다른 팁은 따로 없고 수제비책의 모의고사와 기출문제를 반복적으로 풀어보면서 감을 잡았습니다.

 

이제 이번 회차까지 하면 제1유형 기출문제가 6문제가 될텐데 다른 것 보다도 우선 기출문제 6문제 풀어보시면 감이 잡히실 거에요!

대부분 비슷한 코드로 작성하기 때문에 감을 우선 잡으신 후에 모의고사 문제를 풀어보시면 몇일만에 금방 완..벽하게 풀어내실 수 있을 거에요!!

 

---

<단답형>

단답형은 저는 따로 준비한 건 없고 수제비 카페에 가입해서 수제비 daily문제를 캡쳐해놓고 시간 날때마다 반복적으로 보면서 기억속에..박혀있던 단어들을 기억속에서 끄집어내는 연습을 했습니다.

 

사실상 필기 범위가 너무 넓기 때문에 어떤 문제가 나올지 예상하기 어렵지만 분명한건 어렵게 나오지 않기 때문에 기초적인 것들만 한번 쓰윽 훑어보고 가시면 시험때 무리없이 풀어내실 수 있을꺼에요!

 

 

3. 기억나는 문제들..

 

<작업형 제1유형>
문제 1 : 데이터 결측 값 제거하고 상위 70% 데이터를 훈련 셋으로 만들고 어떤 칼럼의 1사분위 수 구하기
문제 2 : 연도별, 국가별 유병율 데이터에서 2000년도 데이터에서 전체 평균보다 높은 국가는 몇개인가?
문제 3 : 타이타닉 데이터에서 결측값 비율이 가장 큰 칼럼명 찾기

<작업형 제2유형>
보업가입 여부 확률 구하기(분류문제)

---

이렇게..예상문제와 크게 벗어나지 않는 문제들이 나왔고 작업형 제 2유형의 경우 하나의 성능좋은 분류 알고리즘을 준비해가셨다면 모델을 작성하는데 큰 어려움은 없었을 만한 문제였습니다!

전처리도 어렵지 않아서 쉽게 할 수 있었고 모델 성능도 연습할 때 보다 좋게나와서 감격하면서 문제를 풀었던 것 같아요!!

 

작업형 문제를 풀면서 느낀건..

문제를 잘 읽자..! 

 

작업형 제 1유형의 경우 정수로 답을 제출하라고 적혀있어서 int변환을 해주어야 했고

작업형 제 2유형의 경우 prob를 구해야하는데 0/1로 예측하여 답안을 내신 분들이 많더라구요..!

문제를 잘 읽어서..이런 불상사는 없애야 하니까!

 

---

다음회차 시험 보시는분들~~ 다덜 열심히 꼼꼼히 준비하셔서 한번에 합격하시길..!

제가 적어본 팁들이 조금이나마 도움이 되었으면 좋겠습니다!!

홧팅٩(ˊ  ᗜˋ*)و!!