[통계적 모델링] 시계열 분석 - 결측값 처리와 Smoothing

2022.03.19 - [데이터 분석/04. Data Analysis] - [통계적 모델링] 시계열 분석 - 정상성(stationary)과 차분

[통계적 모델링] 시계열 분석 - 정상성(stationary)과 차분

저번 글에서는 정상성과 차분에 대해서 공부를 해봤습니다.

오늘은 이어서 시계열 분석을 할때 결측값을 처리하는 방법과 trend(추세)를 부드럽게 보기위한 방법인 Smoothing에 대해 공부해보려고 합니당!

 

 

결측값 처리

 

: 때로 시계열 데이터에 결측값이 포함되어 있다. 해당 구간에 데이터가 측정되지 않았거나 사용가능하지 않다. 

데이터가 스테이셔너리하지 않다면 계열 데이터의 "평균"을 사용해서 결측값을 채워 넣으면 안된다. 이런 경우는 이전 값으로 앞에 값을 채워넣는 foward-fill을 사용해서 지저분하긴 하지만 빠르게 처리할 수 있다. 하지만, 계열 속성에 따라서 다음과 같이 다양한 방법을 사용할 수 있다!

 

1. forward/backward fill
2. Interpolation(보간법)
3. 최근접 이웃 평균(Mean of nearest neighbors)

 

~1. forward/backward fill~

df=pd.read_csv('a10.csv', parse_dates=['date'], index_col='date')

#forward fill : ffill()
#backward fill : bfill()
df_ffill=df.ffill()
df_bfill=df.bfill()

 

~2. Interpolation(보간법)~

 

- Linear

from scipy.interpolate import interp1d
df=pd.read_csv('a10.csv', parse_dates=['date'], index_col='date')

import numpy as np
df['rownum']=np.arange(df.shape[0])
df_nona=df.dropna(subset=['value'])

#kind를 지정해주지 않았을 때 디폴트값은 'linear'
f=interp1d(df_nona['rownum'], df_nona['value'])
df['linear_fill']=f(df['rownum'])

 

- Cubic : 더 섬세한 fitting 가능!

from scipy.interpolate import interp1d
df=pd.read_csv('a10.csv', parse_dates=['date'], index_col='date')

df['rownum']=np.arange(df.shape[0])
df_nona=df.dropna(subset=['value'])

f2=interp1d(df_nona['rownum'], df_nona['value'], kind='cubic')
df['cubic_fill']=f2(df['rownum'])

 

~3. Mean of nearest neighbors~

def knn_mean(ts, n):
    out=np.copy(ts)
    for i, val in enumerate(ts):
        if np.isnan(val):
            n_by_2=np.ceil(n/2)
            lower=np.max([0, int(i-n_by_2)])
            upper=np.min([len(ts)+1, int(i+n_by_2)])
            ts_near=np.concatenate([ts[lower:i], ts[i:upper]])
            out[i]=np.nanmean(ts_near)
    return out

 

 

Smoothing

 

: 시간 단계 간의 미세한 변동을 제거함,

추세를 부드럽게 볼 수 있음=> 에러들의 효과를 낮추고 쉽게 설명할 수 있다.

 

- Moving average(이동평균법) : tn-1, t, tn+1의 평균값
- Loess smoothing : 각각의 값보다 추세를 보는 방법

 

 

1. 데이터 불러오기

from statsmodels.nonparametric.smoothers_lowess import lowess
df_orig=pd.read_csv('elecequip.csv', parse_dates=['date'], index_col='date')

 

2. moving average

df_ma=df_orig.value.rolling(3, center=True, closed='both').mean()

 

3. Loess Smoothing(5% and 15%)

df_loess_5=pd.DataFrame(lowess(df_orig.value, np.arange(len(df_orig.value)), frac=0.05)[:, 1], index=df_orig.index, columns=['value'])
df_loess_15=pd.DataFrame(lowess(df_orig.value, np.arange(len(df_orig.value)), frac=0.15)[:, 1], index=df_orig.index, columns=['value'])

 

3. plot

 

~original plot~

df_orig.plot()
plt.show()

 

~5%, 15% smoothing plot~

df_loess_5.plot()
df_loess_15.plot()
plt.show()

 

~moving average plot~

df_ma.plot()
plt.show()