no image
통신 장비에 대한 이상 기후 감지 - prophet 모델
prophet은 페이스북이 공개한 시계열 예측 라이브러리가법 모형(addictive model)에 기반하여, 고전적인 통계적 기법을 발전시킴-> 독립적으로 표현된다 기존 시계열 모델 사용 시 문제점1. 완전자동화되는 시계열은 튜닝하기 어렵다.2. 기업 도메인 지식이 뛰어난 사람은 시계열에 대한 지식이 부족하다 prophet 장점- 트렌드와 주기적 특성 모델링 가능- 예외적이고 이벤트와 같은 휴가철 상황도 모델링 가능- 정확도가 높고 예측이 빠름- 직관적인 파라미터로 모델 수정이 용이prophet모델에서 접근 방식- ARIMA모델을 사용하여 이상 징후를 감지한 것과 동일하게 특정 임계값을 벗어나면 이상치라 정의모델링# 라이브러리 불러오기from fbprophet import Prophetimport pan..
2024.07.30
no image
통신 장비에 대한 이상 기후 감지 - ARIMA 모델
자기 회귀 / 누적 / 이동평균 모형과거의 관측값과 오차를 이용하여 현재의 시계열 값을 설명하는 모델ARIMA(d, p, q) 모형은 d차 차분한 데이터 위 AR(p) 모형과 MA(q)모형을 합친 ARIMA 모델을 일반화한 모델MA 화이트 노이즈를 누적시켜서 이동평균을 이용 요약 : d번 차분하면 정상인 y가 되고, 그걸 AR과 MA에 대해 적합시키면 모델학습이 가능하다 는 개념PACF : Partial AutoCorrelation Function시차에 따른 일련의 편자기상관이며, 시차가 다른 두 시계열 데이터 간의 상호 연관성즉, yt와 yt+1 간의 순수한 상관관계 -> ACF와 PACF를 통해서 파라미터 (p, d, q) 를 설정할 수 있다예시- 1차 차분한 데이터에 대해 정상성을 만족한다고 가정 ..
2024.07.30
no image
통신 장비에 대한 이상 기후 감지 - 정상성 검증
정상성 검증시계열 데이터 변환정상성 : 시간이 흘러도 과거패턴과 미래 패턴이 관련이 없음, 관련성 = 상관계수를 씀1. 자기 상관 함수 (ACF : Auto Correlation Function)시차에 따른 일련의 자기상관을 의미하며 시차가 커질수록 ACF 값은 0에 가까워짐정상 시계열이라면 ACF는 0에 수렴비정상 시계열이라면 ACF가 천천히 감소하거나 큰 양의 값을 가짐 2. 가설 검정으로 정상성 파악 : p-value가 0.05보다 작으면 정상성을 만족KPSS testADF testADF 예시 )귀무가설 H0 : 자료의 단위근이 존재하여 정상성을 만족하지 않는다대립가설 H1 : 자료가 정상성을 만족한다.
2024.07.27

prophet은 페이스북이 공개한 시계열 예측 라이브러리

가법 모형(addictive model)에 기반하여, 고전적인 통계적 기법을 발전시킴

-> 독립적으로 표현된다

 

기존 시계열 모델 사용 시 문제점

1. 완전자동화되는 시계열은 튜닝하기 어렵다.

2. 기업 도메인 지식이 뛰어난 사람은 시계열에 대한 지식이 부족하다

 

prophet 장점

- 트렌드와 주기적 특성 모델링 가능

- 예외적이고 이벤트와 같은 휴가철 상황도 모델링 가능

- 정확도가 높고 예측이 빠름

- 직관적인 파라미터로 모델 수정이 용이


prophet모델에서 접근 방식

- ARIMA모델을 사용하여 이상 징후를 감지한 것과 동일하게 특정 임계값을 벗어나면 이상치라 정의


모델링

# 라이브러리 불러오기
from fbprophet import Prophet
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

import pickle5 as pickle
import warnings

warnings.filterwarnings(action='ignore') # warning ignore 

pd.options.display.max_rows = 80
pd.options.display.max_columns = 80
sns.set_style("whitegrid")

%matplotlib inline

 

 

 

 

 

 

 

 

 

자기 회귀 / 누적 / 이동평균 모형

과거의 관측값과 오차를 이용하여 현재의 시계열 값을 설명하는 모델

ARIMA(d, p, q) 모형은 d차 차분한 데이터 위 AR(p) 모형과 MA(q)모형을 합친 ARIMA 모델을 일반화한 모델

MA 화이트 노이즈를 누적시켜서 이동평균을 이용 

요약 : d번 차분하면 정상인 y가 되고, 그걸 AR과 MA에 대해 적합시키면 모델학습이 가능하다 는 개념


PACF : Partial AutoCorrelation Function

시차에 따른 일련의 편자기상관이며, 시차가 다른 두 시계열 데이터 간의 상호 연관성

즉, yt와 yt+1 간의 순수한 상관관계

 

-> ACF와 PACF를 통해서 파라미터 (p, d, q) 를 설정할 수 있다

예시

- 1차 차분한 데이터에 대해 정상성을 만족한다고 가정 => d = 1

- ACF : 전체적으로 양의 상관관계를 가지고 있으며, 시차가 2일때 0에 접근하므로 q = 2로 설정

- PACF : 시차가 1일 때 0에 근접하므로 p = 1로 설정

ARIMA(1,1, 2)


이상 징후 감지 순서

1. 정상성 검증

2. ARIMA모델 파라미터 (p, d, q) 찾기

3. 최적의 파라미터로 ARIMA 학습

4. 특정 임계값 이상인 값에 대해 이상치로 판단


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

정상성 검증


시계열 데이터 변환

정상성 : 시간이 흘러도 과거패턴과 미래 패턴이 관련이 없음, 관련성 = 상관계수를 씀

1. 자기 상관 함수 (ACF : Auto Correlation Function)

시차에 따른 일련의 자기상관을 의미하며 시차가 커질수록 ACF 값은 0에 가까워짐

정상 시계열이라면 ACF는 0에 수렴

비정상 시계열이라면 ACF가 천천히 감소하거나 큰 양의 값을 가짐

ACF 이용하여 정상성 판단

 

2. 가설 검정으로 정상성 파악 : p-value가 0.05보다 작으면 정상성을 만족

KPSS test

ADF test

ADF 예시 )

귀무가설 H0 : 자료의 단위근이 존재하여 정상성을 만족하지 않는다

대립가설 H1 : 자료가 정상성을 만족한다.