Overall Accuracy와 Mean accuracy의 차이

모델 평가를 하다보면 OA와 MACC라고 불리는 것을 자주 볼 수 있었는데 볼 때마다 헷갈려서 이번 기회에 정리하려고 한다.

 

Macc ( mean accuracy within each category) 는 각각의 클래스 마다의 평균 정확도이고 overall accuracy는 전체 정확도 이다. 간략하게 말해서는 비슷한 것 같은데 자세히 알아보자.

 

MACC는 클래스당 각 정확도의 평균입니다(각 클래스 예측 정확도의 합계/클래스 수).
OA는 정확하게 예측된 항목 수/예측할 항목의 총 수. 

 

예시를 들어보자

 

다음 표는 각각의 전체 데이터셋의 예측 결과이며 가로축은 2000으로 모두 동일하다

예를 들어 1,2의 19는 N일때, L이라고 예측한 경우이다.

 

여기서 N에 대한 acc 는 

TP 1971 TN 9501 FP 37 FN 29 이 각각 되므로 

(1971+9501)/(1971+9501+37+29) = 99.43%가 되고

N,L,R,A,P,V에 대한 acc를 평균 낸 것이 MAcc이다.

 

그리고 OA는 (1971 + 1940 + 1891 + 1786 + 1958 + 1926) / (2000 + 2000 + 2000 + 2000 + 2000 + 2000) = 95.60가 된다.

OA를 간략히 요약하면 다음과 같은 공식이 된다. (TP+TN)/(TP+TN+FP+FN)

 

 

 

출처 

https://www.researchgate.net/post/Can_someone_help_me_to_calculate_accuracy_sensitivity_of_a_66_confusion_matrix?view=5ba8c769d7141b26d368af53 

Can someone help me to calculate accuracy, sensitivity,... of a 6*6 confusion matrix?