[ML] 예측 / 회귀 모델 성능 평가 지표

머신러닝에서 예측/회귀모델을 적합한 후 적절한 모델을 썼는지 확인하는 과정이 필요함.

 

---

평가지표

MAE (Mean absolute Error : 평균 절대 오차)

실제 값과 예측 값의 차이를 절댓값으로 변환하여 평균을 낸 값

예측값은 ŷ, 실제값 y , n은 전체 갯수, i 는 데이터 순서

 

 

---

 

MAPE(Mean Absolute Percentage Error : 평균 절대비율 오차)

MES, RMSE의 단점을 보완함. 

하지만 데이터 집합에서 관측값이 0일 경우 평가 불가능, 관측값이 0에 매우 가깝다면 과도한 평가값을 측정함[3]

At 는 실제 값이, Ft 는 예측 값, t는 데이터 순서, n은 전체 데이터 갯수

---

 

MES (Mean Squared Error : 평균 제곱 오차)

실제값과 예측값을 차이를 제곱해 평균한 것

예측값은 ŷ, 실제값 y , n은 전체 갯수, i 는 데이터 순서

 

 

---

 

RMES(Root Mean Squared Error : 평균 제곱근 오차)

MES값을 오류의 제곱을 구하기 때문에 실제 오류의 평균보다 값이 더 커지는 특성이 있습니다. 

그러므로 MES에 Root를 씌워준다.

예측값은 ŷ, 실제값 y , n은 전체 갯수, i 는 데이터 순서

 

---

 

SMAPE(Symmetric Mean Absolute Percentage Error )

백분율(또는 상대)오류를 기반으로 하는 정확도 측정함

At 와 Ft 사이의 절대 차이는 실제값 At, 예측값 Ft 의 절대값 합계의 절반으로 나눔

 

이것은 예측 값이 과대(관측 값보다 예측 값이 큰 경우) 예측했을 경우와 과소(관측 값보다 예측값이 작은 경우) 예측 했을 경우 동등하게 다루지 않는다는 문제점을 가지고 있음. 또한 관측 값과 예측 값의 부호가 다른 경우 에러 값이 항상 최댓값으로 나오게 되는 문제점이 있음. [3]

 

At 는 실제 값, Ft 는 예측 값, n은 전체 데이터 갯수

 

---

 

mMAPE (Maximum Mean Absolute Percentage Error) [3]

MAPE 평가방법의 분모에서 관측값을 사용하는 대신 최대 절대값을 사용함. 

최대 절대값이 1보다 작으면 분모를 제거하여 0 값이 정의되지 않는 문제와 미세한 값일경우 과대 측정되는 문제를 해결.

 

---

 

NMAE(Normalized mean absolute error)

스케일(데이터의 범위)가 다른 테이터 세트의 MAE에 관한 비교를 용이하게 하는데 사용.

정규화의 수단으로, 측정된 데이터의 평균을 이용함.

 

---

 

reference

[1] https://bigdaheta.tistory.com/53?category=965501 

[2] https://en.wikipedia.org/wiki/Symmetric_mean_absolute_percentage_error 

[3] K.-H. Shin, C. Kim, S.-H. Nam, S.-J. Park, and S.-S. Yoo, “Estimation Method of Predicted Time Series Data Based on Absolute Maximum Value,” Journal of Energy Engineering, vol. 27, no. 4, pp. 103–110, Dec. 2018.

[4]