EunGyeongKim

CNN 이란? 데이터로부터 직접 학습하는 딥러닝의 신경망 아키텍쳐 영상, 객체, 클래스, 범주인식을 위한 패턴을 찾을 때 유용함 오디오, 시계열 및 신호 데이터를 분류하는 데도 매우 효과적임. 수십, 수백개의 계층을 가질 수 있음. 각 계층은 영상 및 데이터의 서로 다른 특징을 검출함. 각 훈련영성에 서로 다른 해상도의 필터가 적용되며, convolution된 각 영상은 다음 계층의 입력으로 사용됨. 필터는 밝기, 경계와 같이 매우 간단한 특징으로 시작하여 객체를 고유하게 정의하는 특징으로 복잡도를 늘려나감. CNN의 작동방식 입력계층(input layer), 은닉계층(hidden layer), 출력계층(output layer)으로 구분가능 이러한 계층은 해당 데이터의 고유한 특징을 학습한다는 의도로 데..

learning rate, momentum coefficient learning rate와 momentum coefficient는 역전파 알고리즘을 신경망으로 훈련시키는 굉장히 중요한 변수이다. earning rate는 계산된 경사하강법 기준으로 새로운 factors의 weight의 속도를 조절하는 양의 상수이다. momentum coefficient는 가중치가 조정되는 속도를 가속화 되는 가중치에 추가되는 추가가중치이다. momentum coefficient는 최소화 루틴을 minimum에서 벗어나는데 도움을 준다. local minima local minima문제는 에러를 최소화 시키는 최적의 파라미터를 찾는 문제에 있어서 파라미터 공간에 수많은 지역적인 홀(local minimum)에 빠지는 문제...

Gradient(미분값, 즉 변화량) 기반 방법들을 사용할 경우 작은 파라미터의 값의 변화가 신경망 출력에 얼마나 영향을 미칠것인가를 기반으로 파라미터 값을 학습시킴.⇒ 파라미터의 값이 변화가 신경망 결과에 작은 영향만 미칠경우 : 효과적 파라미터 학습 불가능 Error rate가 낮아지지 않고 수렴해버리는 문제가 발생함. ⇒ 그러므로 Gradient Vanishing / Exploding 은 변화량이 매우 작아지거나(vanishing), 매우 커질때(Exploding)의 상황에서 신경망 학습을 제대로 시키지 못하는것 Gradient Vanishing / Exploding 해결방법 change activation function Simoid, tanh의 문제점을 해결하기 위해 ReLU(Rectifited..

UCI 머신러닝 저장소링크  UEA 및 UCR 시계열 분류 저장소https://perma.cc/56Q5-YPNT  NCEInational centers for environmental information미국정부가 제공하는 기상데이터 미국 노동 통계국Bureau of labor statistics국가의 실업률에 대한 월간 지수 발행 미국 질병통제 예방센터CDCcenters for disease control and precention독감 유행 시기에 매주 독감 사례건수 발표 세인트 루이스 연방준비 은행federal reserve bank of St.Louis매우 유용한 경제 관련 시계열 데이터 제 기타 저장소CompEngine시계열 데이터를 스스로 조직화하는 데이터 베이스약 1억 4천만개의 데이터로 구성..

💡 imageNet의 dataset에서 큰 미니배치는 최적화를 시키는데 어렵다는것을 보여줌(하지만 이 문제가 해결되면 훈련모델은 좋은 일반화를 가짐). 이 문제를 위해 미니배치 크기의 함수로 학습속도를 조정하기 위한 초매개변수 없는 선형 확장 규칙을 채택함. 또한 훈련 초기에 최적화 문제를 극복하는 새로운 워밍업 방식 개발. 1. Introduction This paper’s goal 큰 미니배치 사이즈를 다루기 위해 필요한 것 2. Large Minibatch SGD 2.1 Learning rates for Large Minibatches 2.2 warmup 2.3 Batch Normalization with large minibatches 3. Subtleties and Pitfalls of Dist..

속도가 다를 수 있는 두 개의 시간 sequence의 유사도를 측정하는 알고리즘 적용분야 소리패턴 감지 사람들은 같은 단어를 속도나 악센트가 다르게 발음하기 때문에 사운드 트랙을 일치시키고 식별할수 있는 알고리즘이 필요 주식시장 비디오 그래픽 데이터 정의 및 아이디어 파란색 패턴이 빨간색 패턴보다 더 긺. 그러므로 euclidean matchng 을 이용하여 매핑이 완벽하게 동기화 되지 않음. 하지만 DTW는 동일한 패턴의 최저점과 최고점이 완벽하게 일치하고 두 곡선 모두에 대해 누락이 없도록 일대다 일치를 개발하여 문제를 극복 DTW 방법 💡 DTW는 특정 제한 사항과 규칙(wiki에서 제공)을 사용하여 주어진 두 시퀀스(예: 시계열) 간의 최적 일치를 계산하는 방법 첫 번째 시퀀스의 모든 인덱스는 다..

배치 정규화 딥 뉴럴 네트워크(Deep Neural Networks)에서 사용되는 중요한 정규화 기술 중 하나로, 네트워크의 학습을 안정화하고 속도를 향상시키는 데 도움을 줌 주로 컨볼루션 신경망(CNN) 및 완전 연결 신경망(Fully Connected Neural Networks)에서 사용 합성곱 레이어 또는 완전 연결 레이어 뒤에 적용되며, 네트워크의 성능과 안정성을 향상시키는 데 도움 뉴럴 네트워크의 학습과 일반화 능력이 향상되며, 많은 신경망 아키텍처에서 중요한 구성 요소로 사용 개념 배치 정규화는 네트워크의 각 레이어에서 입력 데이터의 분포를 조절하는 방법입니다. 각 미니배치(batch)의 입력 데이터에 대해 평균과 분산을 계산하고, 이를 사용하여 입력 데이터를 정규화합니다. 정규화된 데이터는..

선형기저 함수 모델을 도입하여 오차를 많이 떨어뜨림. 하지만, 30세 이후로는 키가 수렴하지 않음. 그 이유는 30세 주위에 데이터가 충분하지 않았기 때문 그러므로 이에 해당하는 모델을 만들면 됨. x 가 증가함에 따라 키가 점차 증가하고, 결국에는 일정한 값으로 수렴하는 함수를 만들면 됨. $$y(x) = w_0 - w_1 exp(-w_2x)$$ w0, w1, w2는 모두 양의값을 취하는 매개변수. x가 증가하면 y는 w0에 가까워짐. w0은 수렴하는 값을 결정하는 매개변수. w는 그래프의 시작점을 정하는 매개변수, w2 그래프 기울기를 결정하는 매개변수 지금까지 해오던 방법과 동일하게 J값이 최소가 되도록 w0, w1, w2를 구함. $$J = \frac{1}{N}\sum^{N-1}_{n=0}(y_n..

이동평균법 이동평균법 : 자신의 과거 값에서 일정한 패턴을 파악하여 자신의 미래값을 예측하는 방법 과거 데이터에 동일한 가중치를 주는 방식 과거 일정기간(N)의 평균을 이용하여 다음시점을 예측하는 방법 기간(N)을 작게하면 이동 평균값에 최근 데이터의 경향이 많이 반영됨. 기간(N)을 크게하면 과거 데이터의 경향을 많이 반영되게 됨 \( L_t = (D_t + D_{t-1} + \cdots + D_{t-N+1})/N \) \( = \frac{1}{N}\sum_{i=t+1-N}^{N}D_i \) 이동평균법은 주가 예측에 빈번히 이용됨 지수평활법 지수평활법 : 현재보다 멀리 떨어진 데이터일수록 낮은 가중치를 주는 방법 초기값( \( L_0 \) ) 이 있을 때 단순 지수평활법에 대한 예측 방법 \( L_0 ..

시계열 데이터는 시간의 흐름에 따라 순서대로 관측되어 시간의 영향을 받는 데이터를 말함(주가, 실업률 데이터, 통화량, 금리와 같은 데이터). 과거 시계열 데이터의 패턴을 식별하고, 이 패턴을 이용하여 미래의 시계열의 움직임을 예측함 시계열 데이터 구분하기 시계열 데이터는 추세(Trend), 순환변동(Cycle), 계절변동(Seasonal), 우연변동(Random Fluctuations)으로 구분하여 분석 가능 추세 : 장기간에 걸쳐서 이루어지는 변동 순환변동 : 계절변동이 아닌 주기적으로 나타나는 변동 계절변동 : 계절에 따라 나타나는 변동 우연변동 : 규칙적인 움직임이 없는 변동 = 백색잡음 (white noise) 평균이 0이고 분산이 일정한 변동 시계열 예측모델 시계열 회귀분석(time seri..