EunGyeongKim

중심값 측정 산술 평균 (arithmetic mean ) : 모든 값을 합친 후 데이터 값의 수로 나눈 값 → = 평균 import numpy as np np.mean([11,1,5,18,23]) 중앙값(median) : 데이터셋이 순서대로 정렬될 때 데이터셋의 가운데 있는 숫자 np.meadian([11,15,17,14]) # 14.5 np.meadian([11,15,17,14, 31]) # 15 변동계수 (coefficient of variation) : 데이터의 표준 편차와 평균의 비율로 정의됨 편차측정 범위 : 극잔적인 두 값이 얼마나 멀리 떨어져 있는지 알려줌. np.max(frends) = np.min(frends) 표준편차(standard deviation) : 수식 : $s = \sqrt{..

EDA란? 뜻 : - 수집한 데이터가 들어왔을 때, 이를 다양한 각도에서 관찰하고 이해하는 과정. - 데이터를 분석하기 전 그래프나 통계적인 방법으로 자료를 직관적으로 바라보는 과정. - 시각화와 모델링을 할 수 있도록 데이터를 준비하는 과정(= 전처리)을 진행하며 데이터를 이해하는 작업. - 결과를 표준화 하고 신속하게 통찰력을 얻기 위해 데이터를 준비하는것을 의미 - 데이터 시각화 및 준비와 관련이 있다. * 이 과정에서 비 구조적 데이터를 구조적 데이터로 변환하고, 누락되거나 잘못된 데이터 요소를 정리 - EDA 과정에서 많은 유형의 플롯(plot)을 작성하고 이러한 플롯을 사용해 데이터모델에서 활용할 핵심기능과 관계를 식별 ∴ 데이터 설명서(data description)를 읽고 데이터 파악하기 ..

정량적 예측 방법(quantitative methods) 계량적 예측방법이라고도 함 과거의 패턴이 미래에까지 지속된다는 가정 하에 기존의 양적 자료를 수학적 방법을 이용하여 예측하는 방법 외삽법 (extrapolative methods) 시계열 예측법이라고 부름 단순법(naive) 이동평균법(moving average) 지수 평활법(exponential smoothing) 분해법(decomposition) 자기 회귀법 (autoregression) 박스-젠킨스(Box-Jenkins)의 ARIMA모형 인과관계 방법 회귀분석법(regression analysis) 장점 의사결정자가 독립변수와 종속변수간의 원인 및 영향관계에 근거하여 논리적으로 모형을 설정한다는 것(Cranage and Andrew ,1992..

상관관계 : 두 변수 X, Y의 관계 상관관계 분석 방법 종류 MIC(Maximal Information Coefficient) : 최대정보 상관계수 히스토그램의 구간을 나누는 방법을 다양하게 시도한 다음(→ 히스토그램의 구간[bin]을 나누어 추정하게 될때 구간의 갯수나 경계 위치에 따라 추정오차가 커질 수 있음. 그래서 다양하게 시도), 그 결과로 구한 다양한 상호 정보량중에서 가장 큰 값 을 선택하여 정규화 한 값 python의 minepy 패키지를 사용하면 MIC를 구할 수 있음. 통계에서 MIC는 두변수 X 와 Y사이의 선형 또는 비선형 연관강도를 측정한 것 MIC는 최대정보기반 비모수 탐색 통계 클래스에 속함. MIC(D) = max_{XY

머신러닝에서 예측/회귀모델을 적합한 후 적절한 모델을 썼는지 확인하는 과정이 필요함. 평가지표 MAE (Mean absolute Error : 평균 절대 오차) 실제 값과 예측 값의 차이를 절댓값으로 변환하여 평균을 낸 값 예측값은 ŷ, 실제값 y , n은 전체 갯수, i 는 데이터 순서 MAPE(Mean Absolute Percentage Error : 평균 절대비율 오차) MES, RMSE의 단점을 보완함. 하지만 데이터 집합에서 관측값이 0일 경우 평가 불가능, 관측값이 0에 매우 가깝다면 과도한 평가값을 측정함[3] At 는 실제 값이, Ft 는 예측 값, t는 데이터 순서, n은 전체 데이터 갯수 MES (Mean Squared Error : 평균 제곱 오차) 실제값과 예측값을 차이를 제곱해 평..