[빅분기] 2021년 실기 기출 풀이-작업형 제 2유형(14번)

14번

Train.csv

0.42MB

다음은 기업에서 생성된 주문 데이터이다. 80,009건의 데이터에 대하여 정시 도착가능 여부 예측 모델을 만들고, 평가 데이터에 대하여 정시도착 가능 여부 예측 확률을 기록한 csv를 생성하시오.

 

풀이

 

1. 데이터 불러오기

import pandas as pd
data=pd.read_csv("Train.csv")

 

 

2. 데이터 타입 확인하기

print(data.info())

 

 

3. x,y 컬럼 나눠서 저장

X=data.drop('Reached.on.Time_Y.N', axis=1)
y=data[['Reached.on.Time_Y.N']]

 

 

4. 더미 변환

X=pd.get_dummies(X)

 

 

5. train/test 분리

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test=train_test_split(X, y, stratify=y, random_state=42)

 

 

6. 정규화

 

~fit~

from sklearn.preprocessing import MinMaxScaler
minmax=MinMaxScaler()
minmax.fit(X_train)

 

~transform~

minmax_X_train=minmax.transform(X_train)
minmax_X_test=minmax.transform(X_test)

 

 

7. valid 생성

X_train_, X_valid, y_train_, y_valid = train_test_split(minmax_X_train, y_train, stratify=y_train, random_state=42, test_size=0.2)

 

 

8. 모델생성-랜덤포레스트

from sklearn.ensemble import RandomForestClassifier
model=RandomForestClassifier(random_state=42, n_estimators=100, max_depth=10)

model.fit(X_train_, y_train_.values.ravel())
pred_train=model.predict(X_train_)

from sklearn.metrics import roc_auc_score
auc=roc_auc_score(y_train_, pred_train)
print(auc)
pred_valid=model.predict(X_valid)
auc_valid=roc_auc_score(y_valid, pred_valid)
print(auc_valid)

n_estimators, mex_depth 값을 변경해보면서 auc_valid 값을 확인하고

train, valid의 auc값이 너무 차이나지 않으면서도(과대적합 방지), 성능이 좋게 나오는 모델을 pick한다..!

 

 

9. valid는 주석처리한 후에 test데이터로 예측

 

-> 위에 작성했던 코드에서 이 부분은 주석처리 해주세욥..!

#X_train_, X_valid, y_train_, y_valid = train_test_split(minmax_X_train, y_train, stratify=y_train, random_state=42, test_size=0.2)

from sklearn.ensemble import RandomForestClassifier
model=RandomForestClassifier(random_state=42, n_estimators=100, max_depth=10)
#model.fit(X_train_, y_train_.values.ravel())
#pred_train=model.predict(X_train_)
from sklearn.metrics import roc_auc_score
#auc=roc_auc_score(y_train_, pred_train)
#print(auc)
#pred_valid=model.predict(X_valid)
#auc_valid=roc_auc_score(y_valid, pred_valid)
#print(auc_valid)

 

~새롭게 minmax_X_train, y_train 전체로 모델을 fit시키고 예측~

model.fit(minmax_X_train, y_train.values.ravel())
pred_train=model.predict(minmax_X_train)
auc_train=roc_auc_score(y_train, pred_train)

print(auc_train)

 

10. minmax_X_test 예측

pred_test=model.predict(minmax_X_test)
pred_test=pd.DataFrame(pred_test)
pred_test.columns=['pred']

 

 

11. 데이터프레임 저장

pred_test.to_csv("003001027.csv", index=False)

 

 

12. 잘 저장되었는지 확인

data2=pd.read_csv("003001027.csv")
print(data2)