🔍 데이터 분석/04. Data Analysis

2022.03.19 - [데이터 분석/04. Data Analysis] - [통계적 모델링] 시계열 분석 - 정상성(stationary)과 차분 [통계적 모델링] 시계열 분석 - 정상성(stationary)과 차분 2022.03.18 - [데이터 분석/04. Data Analysis] - [통계적 모델링] 시계열 분석 [통계적 모델링] 시계열 분석 항상 시계열 분석은 어렵고 복잡하다는 생각에 코드를 하나하나 이해하면서 작성하기 힘들었 xod22.tistory.com 저번 글에서는 정상성과 차분에 대해서 공부를 해봤습니다. 오늘은 이어서 시계열 분석을 할때 결측값을 처리하는 방법과 trend(추세)를 부드럽게 보기위한 방법인 Smoothing에 대해 공부해보려고 합니당! 결측값 처리 : 때로 시계열 데이터..

2022.03.18 - [데이터 분석/04. Data Analysis] - [통계적 모델링] 시계열 분석 [통계적 모델링] 시계열 분석 항상 시계열 분석은 어렵고 복잡하다는 생각에 코드를 하나하나 이해하면서 작성하기 힘들었는데 하나하나 찾아보면서 공부를 해보려고 합니다. 시계열 데이터란 시계열 데이터는 일정한 시간 xod22.tistory.com 저번 글에 이어서 정상성과 차분에 대해서 공부해보려고 합니다! 정상성(stationary)과 비정상성(non-stationary) : 추세나 계절성이 있는 시계열은 정상성을 나타내는 시계열이 아니다. 추세와 계절성은 서로 다른 시간에 시계열의 값에 영향을 줄 것이기 때문! 1. 패키지 임포트 from statsmodels.tsa.stattools import a..

항상 시계열 분석은 어렵고 복잡하다는 생각에 코드를 하나하나 이해하면서 작성하기 힘들었는데 하나하나 찾아보면서 공부를 해보려고 합니다. 시계열 데이터란 시계열 데이터는 일정한 시간 간격으로 순차적으로 기록된 관측 데이터다. 관측 주기에따라, 시계열 데이터는 일반적으로 시간별, 일별, 주별, 월별, 분기별, 년도별로 구분된다. 시계열 분석을 데이터를 분석(예측)하기 전에 수행하는 준비단계다. 시계열 분석에서는 데이터의 내재된 속성에 대해 다양한 각도로 이해하는 것이 필요하다. 의미있고 정확한 예측을 하기 위해서 충분한 정보를 확보하는 것이 필요하다. 실습 - 데이터 : 호주 당뇨병 치료약(anti-diabetic) 월별 Sales 데이터 사용 1. 패키지 임포트 from dateutil.parser imp..

선형회귀 개요 1. 패키지 임포트 import statsmodels.api as sm import statsmodels.formula.api as smf import statsmodels.graphics.api as smg import patsy import matplotlib.pyplot as plt import numpy as np import pandas as pd from scipy import stats 2. 데이터 생성 y=np.array([1,2,3,4,5]) x1=np.array([6,7,8,9,10]) x2=np.array([11,12,13,14,15]) data={"y":y, "x1":x1, "x2":x2} 3. 모델 생성 y, X=patsy.dmatrices("y~1+x1+x2+x1:..

분산분석(ANOVA) 종속변수(y)가 연속형이고 독립변수(x)가 범주형 변수인 경우, 분산분석은 범주에 따라 두 개 이상의 집단에서 그룹 평균 간 차이를 그룹 내 변동에 비교하여 살펴보는 통계 분석 방법이다. 즉, 두 개 이상 집단들의 평균 간 차이에 대한 통계적 유의성을 검정하는 방법이다. 독립변수(x)의 개수에 따라 일원배치 분산분석, 이원배치 분산분석, 다원배치 분산분석으로 나누어지며, 분석에는 F-검정 통계량을 이용한다. 실습 1. 패키지 임포트 from scipy.stats import f_oneway 2. 데이터 불러오기 from sklearn.datasets import load_iris import pandas as pd iris=load_iris() iris_dataframe=pd.Dat..

상관관계 두 개 그룹간의 상관관계를 분석하기 위한 방법이다. 1. Pearson 2. Spearman 3. Kendall 크게 이러한 방법이 널리 사용되고 있고, 실습으로 피어슨, 스피어만 상관계수 분석을 해보려고 합니다! * 상관관계가 반드시 인과관계를 뜻하는 것은 아니다. 상관관계가 존재하더라도 아무런 인과관계가 없을 수도 있기 때문에 해석에 주의해야한다..! Pearson correlation(피어슨 상관계수) 두 변수 간의 상관관계를 구할 때 가장 많이 활용되는 공식이다. 해당 상관계수는 두 변수간 선형적인 관계가 있는지 판단하는데 사용된다. 피어슨 상관계수가 0에 가까운 수치를 보이더라도 선형적인 관계가 낮다는 것일 뿐 비선형적인 관계로 유의미한 관련이 있을 수도 있다. 수치는 -1~1의 값을 ..

등분산 검정 : 등분산 검정은 '분산의 동질성 검정'이라고도 한다. 대상 집단의 분산이 같은지 다른지를 통계적으로 검정하는 방법이다. * 분산이 같지 않으면 anova분석을 수행할 수 없기 때문에 선행되어야하는 분석이당..! H0(귀무가설) : 모든 집단의 분산은 차이가 없다. H1(대립가설) : 적어도 하나 이상의 집단의 분산에 차이가 있다. 등분산 검정을 수행하는 함수는 다음 두가지가 있다. -Bartlett.test -levene.test -> 두가지 다 분산의 동질성을 검정하는 방법이지만 Levene 검정과 달리 Bartlett 검정은 표본이 정규성을 만족할 때(즉 정규분포를 띨 때)에만 사용할 수 있는 방법이다. Levene 검정은 표본이 정규성을 만족하든 만족하지 않든 상관없이 사용할 수 있다..

정규분포, F분포, 포아송 분포 그래프를 그려보겠습니다! 정규분포 1. 패키지 임포트 import scipy as sp import seaborn as sns import numpy as np import matplotlib as mpl import matplotlib.pylab as plt %matplotlib inline 2. 정규분포 객체 생성 X=sp.stats.norm() 3. plot할 공간 마련 fig, axes=plt.subplots(1, 3, figsize=(12,3)) x_min_999, x_max_999=X.interval(0.999) x999=np.linspace(x_min_999, x_max_999, 1000) 4. plot하기 #PDF : 확률밀도함수 axes[0].plot(x9..