220120) 혼동행렬(Confusion Matrix) & ROC AUC Score

 

분류 결과

confusion matrix

 

 

 

ROC curve (Receiver Operating Characteristic curve) : FPR과 TPR을 각각 x,y축으로 놓은 그래프. ROC curve는 X,Y가 둘다 [0,1]의 범위이고, (0,0) 에서 (1,1)을 잇는 곡선이다.

- ROC 커브는 그 면적이 1에 가까울수록 (즉 왼쪽위 꼭지점에 다가갈수록) 좋은 성능이다. 그리고 이 면적은 항상 0.5~1의 범위를 갖는다.(0.5이면 랜덤에 가까운 성능, 1이면 최고의 성능)

 

- TPR : True Positive Rate (=민감도, true accept rate)
1인 케이스에 대해 1로 잘 예측한 비율.(암환자를 진찰해서 암이라고 진단 함)

 

- FPR :  False Positive Rate (=1-특이도, false accept rate)
0인 케이스에 대해 1로 잘못 예측한 비율.(암환자가 아닌데 암이라고 진단 함)

 

 

 

ROC AUC(ROC Area Under the Curve) == AUROC (the Area Under a ROC Curve)

ROC 커브의 밑면적을 구한 값이 바로 AUC이다. 이 값이 1에 가까울수록 성능이 좋다. 전체적인 민감도와 특이도의 상관 관계를 보여줄 수 있어 편리한 성능 척도이다.

 

 

---

 

* 실습 코드

GitHub - nojiyoon/SeSAC_code: 강의 code

 

 

* 참고자료

https://newsight.tistory.com/53

ROC curve, ROC_AUC, PR_AUC, 민감도, 특이도

 

* 정밀도/재현율 트레이드오프, 임계값, roc 곡선 그리는 건 안배움.

https://velog.io/@ljs7463/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80%EC%A0%95%EB%B0%80%EB%8F%84%EC%9E%AC%ED%98%84%EC%9C%A8f1-score%EB%93%B1

머신러닝 분류모델 평가(정밀도,재현율,f1-score등)