[통계적 모델링] 선형회귀, 로지스틱회귀

선형회귀 개요

 

1. 패키지 임포트

import statsmodels.api as sm
import statsmodels.formula.api as smf
import statsmodels.graphics.api as smg
import patsy
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from scipy import stats

 

2. 데이터 생성

y=np.array([1,2,3,4,5])
x1=np.array([6,7,8,9,10])
x2=np.array([11,12,13,14,15])

data={"y":y, "x1":x1, "x2":x2}

 

3. 모델 생성

y, X=patsy.dmatrices("y~1+x1+x2+x1:x2", data, return_type="dataframe")
model=sm.OLS(y,X)
result=model.fit()

result.params

 

~":" 대신에 "*"을 써줌~

y,X=patsy.dmatrices("y~x1*x2", data, return_type="dataframe")
model2=sm.OLS(y,X)
result2=model2.fit()
result2.params

위의 수식과 같은 결과를 나타냄..!

 

y,X=patsy.dmatrices("y~x1+x2", data, return_type="dataframe")
model3=sm.OLS(y,X)
result3=model3.fit()
result3.params

 

~로그/삼각함수도 표현 가능~

y,X=patsy.dmatrices("y~np.log(x1)+np.cos(x2)+np.sin(x1+x2)", data, return_type="dataframe")
model4=sm.OLS(y,X)
result4=model4.fit()
result4.params

 

범주 생성

 

: Patsy 패키지는 범주형 변수를 생성할 수 있다.

수동으로 숫자값을 C(x1)이렇게 지정하면 카테고리화됨..!

y,X=patsy.dmatrices("y~-1+C(x1)", data=data, return_type="dataframe")
print(X)

 

---

1. 선형회귀 분석

 

# 아이스크림 데이터 : 아이스크림 소비량, 고객의 수입, 아이스크림 가격 및 하루의 온도

dataset=sm.datasets.get_rdataset("Icecream", "Ecdat")
model=smf.ols("cons~1+income+price+temp", data=dataset.data)
result=model.fit()
print(result.summary())

 

~ income을 제외하고 소비량~가격, 온도의 회귀~

#소비량~가격, 온도의 회귀
model=smf.ols("cons~1+price+temp", data=dataset.data)
result=model.fit()
print(result.summary())

 

---

2. 이산회귀분석 : 로지스틱회귀분석

 

~iris 데이터 불러오기~

df = sm.datasets.get_rdataset("iris").data 
df_subset=df[df.Species.isin(["versicolor","virginica"])].copy() 
df_subset.Species = df_subset.Species.map({"versicolor":1,"virginica":0}) 
df_subset.rename(columns={"Sepal.Length": "Sepal_Length","Sepal.Width": "Sepal_Width","Petal.Length": "Petal_Length","Petal.Width": "Petal_Width"}, inplace=True)

 

~로지스틱회귀 모델 생성~

model = smf.logit("Species ~ Petal_Length + Petal_Width", data=df_subset)
result = model.fit()
print(result.summary())

 

~plot~

#scatter plot
params=result.params
alpha0 = -params['Intercept']/params['Petal_Width'] 
alpha1 = -params['Petal_Length']/params['Petal_Width']

_x=np.array([3.0, 7.0])

fig, ax = plt.subplots(1,1, figsize=(8,4)) 
ax.plot(df_subset[df_subset.Species==0].Petal_Length.values, df_subset[df_subset.Species==0].Petal_Width.values,'s', label='virginica') 
ax.plot(df_subset[df_subset.Species==1].Petal_Length.values, df_subset[df_subset.Species==1].Petal_Width.values,'s', label='versicolor')
ax.plot(_x,alpha0+alpha1 * _x)
ax.set_xlabel('Petal length')
ax.set_ylabel('Petal width')
ax.legend()

=> 잘 분류하고 있음을 확인..!