https://zephyrus1111.tistory.com/ 

https://darkpgmr.tistory.com/117 선형보간법

https://leehah0908.tistory.com/ 분석 모델 개념

https://daily-studyandwork.tistory.com/35

GridSearchCV : 교차 검증 + 하이퍼 파라미터 튜닝

https://blog.naver.com/PostView.naver?blogId=hajuny2903&logNo=222422472569&redirect=Dlog&widgetTypeCall=true&directAccess=false 앙상블 기법 개념

https://m.blog.naver.com/combioai/221359032956 서포트 벡터 머신

https://m.blog.naver.com/winddori2002/221662413641 

https://bskyvision.com/entry/python-SVM-%EB%B6%84%EB%A5%98-%EB%AC%B8%EC%A0%9C%EB%A5%BC-%ED%86%B5%ED%95%B4-%EB%B0%B0%EC%9A%B0%EB%8A%94-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%ED%9B%88%EB%A0%A8-%EB%B0%8F-%ED%85%8C%EC%8A%A4%ED%8A%B8 

https://bigwaveai.com/2020/03/28/naxly-named-as-a-global-leader-in-big-data-5/ 서포트 벡터 머신 _ 와인 분류 실습

https://cheris8.github.io/data%20analysis/DP-Data-Scaling/ 데이터 스케일링

https://dacon.io/codeshare/4526

https://www.thedatahunt.com/trend-insight/f1-score F1 score 개념 활용

https://topo314.tistory.com/73

St라는 벡터와 각각의 히든 스테이트를 이용해서  다 곱해줌

간다 라는 단어를 go로 바꾸기 때문에 알파3(weight)의 크기가 가장 크다

이런 과정을 통해 병렬처리를 할 수 있음

self attention 에서 decoder는 출력을 매 타임스텝마다 출력을 함

항상 뒤에 있는 시퀀스에서 앞에있는 시퀀스로 전달되도록 구성되어 있다

실제로 트랜스포머 학습을 하는데 

아까 전 슬라이드 hidden state의 크기, head의 개수, endcoder decoder layer의 개수를 바꾸어 가면서 성능이 잘 나오는 모델을 찾는게 좋음

하지만 시계열 데이터는 시간적 상관관계를 가짐 :  나이에 따라 평균키가 달라지므로 시간적 상관관계가 있다.

A라는데서 화살표가 나와서 다시 자기자신으로 들어감

RNN은 hidden state가 자기자신에 숨어있다. 입력된 데이터의 시계열 정보를 모델링할 수 있음 

시간적인 축으로 펴보았더니 (unfolding) 입력 (X0~Xt )

예를 들어 h2를 만들기위해 A도 활용, X2도 활용 -> 재귀적인 recurrent한 패턴을 통해 결과가 나옴

따라서 결과 ht는 x0~xt까지 다 포함한다

window size는 sequence의 길이 , 5개를 볼겨나 10개를 볼겨냐 결정

interval은 window내 데이터 사이 시간간격을 조절 , 바로 인접한 데이터가 아니라 인근의 추세를 볼수있음

stride는 widow 한묶음 (window 간의) 시간간격을 조절함 (sequence 시작점들의 간격) 

LSTM 모델 학습

문장이 길어서 a라는 문자를 기억하지 못함

pen을 써야하는지 pens를 써야하는지 기억을 잘 하지 못한다

forget gate 는 cell state 지금까지 저장된 정보중에 중요X 데이터 삭제

input gate 는 LSTM입력으로 들어오는 정보가 중요한지 판단해서 중요x데이터 삭제

output gate 는 cell state에서 hidden state로 나갈때 지금 출력이 될지안될지 결정

GRU (gated recurrnet unit)